随笔分类 -  hadoop笔记

hadoop之各组件原理图详解
摘要：hadoop主备高可用故障转移机制 NameNode和2nn zookeeper保姆机制 zookeeper全新选举机制 zookeeper之非全新选举 NameNode和2nn hbase之存数据流程 hbase之创建表流程 hbase之查询路由(解决元数据信息不断增大 hbase之rowkey设 阅读全文
posted @ 2020-03-04 21:58 图图W 阅读(343) 评论(0) 推荐(0)
hadoop之简洁知识点
摘要：1.hadoophadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（Network File System）方式，另外一种是QJM（Quorum Journal Manager）方式。高可用:单点故障 hadoop_ha JournalNodes集群 active standby修改一次 阅读全文
posted @ 2020-03-04 21:44 图图W 阅读(112) 评论(0) 推荐(0)
hadoop之yarn
摘要：在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker；JobTracker：负责资源管理和作业调度；TaskTracker：定期向JobTracker汇报本节点的健康状况、资源使用情况以及任务的执行情况；接 阅读全文
posted @ 2020-03-04 21:43 图图W 阅读(133) 评论(0) 推荐(0)
hive笔记
摘要：hive创建数据库create database hive; 因为hive数据库已经存在，所以会抛出异常，这时候加上if not exists,就会直接创建成功，原因则是覆盖了。create database if not exists hive; 进入数据库use hive; 创建usr表crea 阅读全文
posted @ 2020-03-04 21:38 图图W 阅读(325) 评论(0) 推荐(0)
sqoop导入导出
摘要：1.mysql先创建数据库 create database my;2.进入数据库 use my;3.创建表,表字段需要对应hive表的字段并且设置编码格式，不然无法导入数据 create table sf11 (name varchar(33),id int)default charset = ut 阅读全文
posted @ 2020-03-04 21:37 图图W 阅读(164) 评论(0) 推荐(0)
hadoop基础总结
摘要：###常用操作hadoop dfsadmin -safemode leave 离开安全模式hadoop dfsadmin -safemode enter 进入安全模式 netstat -nultp 查看所有端口号netstat -anp | grep 3306 查看3306端口号lsof -i:33 阅读全文
posted @ 2020-03-04 21:36 图图W 阅读(152) 评论(0) 推荐(0)