随笔分类 -  bigdata

摘要:select * FROM sys_user_role where user_id in( SELECT id FROM sys_user where login_name='17600311226' ) delete FROM sys_user_role where user_id in( SELECT id FROM sys_user where login_name='176003112... 阅读全文
posted @ 2019-02-02 23:47 hoge
摘要:见第一行; 分析号码,并得出结果: 步骤: 一、导入临时表 1、建表,在ext 菜单中建立; 2、在测试类中生产批量插入语句; insert into tmp_seqid_qh(loanid,seqid,idno)values('NXJ18060111117ZG5U','15280912310734 阅读全文
posted @ 2019-01-16 13:39 hoge
摘要:1、基本概念 1)Elastic和RDMS对比 2、核心概念 1)集群 2)节点 3)索引 4)类型 5)文档 6)分片:超大文件存储硬盘不够了,Elastic将改索引划分成多份,这些份就叫分片; 7)副本:Elastic创建分片的一份或多份的拷贝,叫副本;为了保证高可用,副本和主分片不在同一个节点 阅读全文
posted @ 2018-11-21 15:52 hoge
摘要:(1)结构化数据,简单来说就是数据库。结合到典型场景中更容易理解,比如企业ERP、财务系统;医疗HIS数据库;教育一卡通;政府行政审批;其他核心数据库等。这些应用需要哪些存储方案呢?基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。 (2)非结构化数据库是指其字段长度可变,并且每 阅读全文
posted @ 2018-08-17 17:21 hoge
摘要:1、下载 Spark安装之前的准备 文件的解压与改名 为了我后面方便配置spark,在这里我把文件夹的名字给改了 退出的正确操作是:- :quit 配置环境变量 在最尾巴加入 首先我们把缓存的文件spark-env.sh.template改为spark识别的文件spark-env.sh cp con 阅读全文
posted @ 2018-08-08 16:23 hoge
摘要:1、新建文件夹 mkdir bigdata;在当前文件夹下新建bigdata文件夹; 2、显示当前文件夹全目录 pwd; 3、移动文件:mv /usr/etc/spark-2.3.1-bin-hadoop2.7.tgz /usr/etc/bigdata/ 4 、解压到当前文件夹 tar zxvf s 阅读全文
posted @ 2018-08-06 13:10 hoge
摘要:1、配置ssh,使集群服务器之间的通讯,不再每次都输入密码进行认证。 2、 [root@hc--uatbeta2 hadoop]# start-all.shStarting namenodes on [hc--uatbeta2.novalocal]ERROR: Attempting to opera 阅读全文
posted @ 2018-08-03 17:35 hoge