大数据第三天

大数据第三天

1.HBase————分布型数据库(NoSQL)
	1.表  存储管理数据
	2.行键	类似关系型数据库中的主键  HBase自带  一般为查询比较多的列
	3.列族  列的集合   在定义表时指定的
	4.时间戳 列的一个属性  如果不指定时间戳，默认取最新的数据
	5.优点
		1.海量数据秒级简单查询
		2.并行查询
	6.特殊表
		-ROOT- 记录.META表的Region信息，只有一个region
		.META  记录用户表的Region信息，可以有多个region
	7.查询请求过程
		zookeeper->-ROOT- ->.META -> 最终位置
	8.安装
		1.解压安装包
		2.添加HBase环境变量 /etc/profile
		3.修改配置文件
			hbase-env.sh
			hbase-site.xml
		4.启动
			启动前需保证已经启动hadoop
		5.验证
			jps查看进程 分别是HMaster/HRegionServer/HQuorumPeer
			web：   hadoop:60010
	9.shell使用
		1.创建表  create
		2.添加记录 put
		3.查看记录 get
		4.删除记录 delete
		5.更改记录 重写覆盖
		6.查询记录总数 count
		7.删除表 先disable 再drop
		8.查看表结构 desc 
	10.javaAPI
		1.导入jar包
		2.得到Configuration对象
		3.创建表/删除表使用HBaseAdmin对象
		4.插入记录、查询记录使用HTable对象
	11.	HDFS数据导入HBase	
	
2.Hive————SQL to MR
	1.简介
		hive是一个sql解析引擎，可以把sql查询转换成mr中的job来运行
	2.安装
		1.解压安装包
		2.配置hive环境变量 /etc/profile
		3.修改配置文件
			hive-site.xml/hive-env.sh/hive-config.sh
		4.修改hadoop配置文件
			hadoop-env.sh
		5.拷贝mysql jdbc连接jar到lib目录下
	3.安装mysql(用于存储元信息)
	4.配置hive连接mysql(通过jdbc方式)
	5. 内部表
	   CREATE TABLE t1(id int);  
	   LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1; 
	   CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
	6. 分区表
	   CREATE TABLE t3(id int) PARTITIONED BY (day int);  
	   LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1 PARTITION (day=22);   
	7. 桶表
	   create table t4(id int) clustered by(id) into 4 buckets; 
	   set hive.enforce.bucketing = true;
	   insert into table t4 select id from t3;
	8. 外部表
	   create external table t5(id int) location '/external';  
	9.UDF————用于自定义函数
		1.继承org.apache.hadoop.hive.ql.UDF
		2.实现evaluate函数，evaluate函数支持重载
		3.注：UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF
		
	
3.Pig————PLain to MR
	1.安装
		1.解压安装包
		2.配置pig环境变量 /etc/profile
		3.修改配置文件——pig.properties
		4.即可使用，具体使用详情可度娘(重点不在这，在Hive)

4.Zookeeper————集群资源管理和保证节点数据的事务性、完整性
	4.1 leader  负责进行投票的发起和决议，更新系统状态
	4.2 learner	 包括follower和observer
			其中：
					follower用于接受客户端请求并向客户端返回结果，在选主过程中参与投票
					observer用于接受客户端连接，将写请求转发给leader，但其不参加投票过程，只同步leader的状态
	4.3 client	请求发起方	
	
5.Mahout————基于MR开发的数据挖掘和机器学习库	
	5.1 聚类算法
		将类似的对象划分成多个类的算法
			以k-means算法为例
				思想：
					a.给定聚类个数K
					b.按照数据特征，将其分为k个类别
				步骤：
					1.提取feadture
					2.将feadture向量化
					3.利用K-means算法实现聚类
	5.2 分类算法
		有监督机器学习算法，需提供样本，根据样本得到分类模型
			步骤：
				1.训练样本，得到分类模型
				2.对分类模型进行测试，并尝试调优
				3.将分类模型用于线上产品中
	5.3 推荐算法

6.Flume————分布式日志收集框架
	1.agent是一个java进程，运行在日志收集节点
		a.source组件是专用于收集日志文件，收集数据后临时存放在channel中
		b.channel组件是用于临时存储数据
		c.sink组件是用于把数据发送到目的地的
		d.event组件是数据传输中的数据流
	2.安装
		1.解压包
		2.配置环境变量 /etc/profile
		3.修改配置文件
			配置source1
			配置channel1
			配置sink1
			详情参考配置文件模板
		3.运行flume-ng.sh
7.sqoop————对数据进行导入导出
	1.安装
		1.解压包
		2.配置环境变量 /etc/profile
		3.修改配置文件
			sqoop-env.sh/sqoop-site.xml
		4.拷贝mysql jdbc连接jar到lib目录下
	2.使用		
		1.从mysql->hdfs中(默认导出路径是hdfs根目录下/user/root(当前登陆用户)中)
			sqoop import --connect "jdbc:mysql://hadoop:3306/test?useUnicode=true&characterEncoding=utf-8" --username root --password root --table t_test --fields-terminated-by '\t' --null-string '**'	
				--connect  关系型数据库连接url
				--username  用户名
				--password	密码
				--table		表名
				--fields-terminated-by	导出时字段分隔符
				--null-string			导出时字段为空替换符(如果不设置这项，若字段为空，会报错)		
		2.从hdfs->mysql中(默认导出路径是hdfs根目录下/user/root(当前登陆用户)中)
			sqoop export --connect "jdbc:mysql://hadoop:3306/test?useUnicode=true&characterEncoding=utf-8" --username root --password root --table t_test --fields-terminated-by '\t' --export-dir 'ids'
				--export-dir 导入目录
		3.增量导入导出
			--check-column  检查列
			--last-value	最后存储的值
			--incremental append 增加方式
		4.添加任务————将常用的语句添加到任务
			sqoop job --create myjob -- export --connect "jdbc:mysql://hadoop:3306/test?useUnicode=true&characterEncoding=utf-8" --username hive --password hive --table stock_detail --fields-terminated-by '\t' --export-dir 'stock_detail'
		5.运行任务
			sqoop job --exec 任务名(注意配置免密码，不然需要输入mysql的密码，注意是mysql数据库用户密码而不是linux的)
		6.查看任务
			sqoop job --list
		6.删除任务
			sqoop job --delete
		7.设置免密码
			配置文件site.xml  
				sqoop.metastore.client.record.password 打开这项，默认是注释的
		8.事务处理
			以Mapper任务为单位