随笔分类 -  hadoop

摘要:1.启动zookeeper集群 对于hadoop,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息,对于HBase,使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer的联机和宕机,存储访问控制列表等 启动命令:c 阅读全文
posted @ 2016-06-21 14:43 CrazyData 阅读(3601) 评论(0) 推荐(0)
摘要:SecondaryNameNode是用来合并fsimage和edits文件来更新NameNode和metadata的。 其工作流程为: 1.secondary通知namenode切换edits文件 2.secondary从namenode获得fsimage和edits(通过http) 3.secon 阅读全文
posted @ 2016-05-30 08:38 CrazyData 阅读(894) 评论(0) 推荐(0)
摘要:crontab参数: -u:帮助其他用户建立或移除工作排程 -l:查阅crontab的工作内容 -r:移除所有的crontab的工作内容 -e:编辑crontab文件 每项工作有六个字段: * * * * * * 分钟 小时 日期 月份 周 指令 0-59 0-23 1-31 1-12 0-7 指令 阅读全文
posted @ 2016-04-22 10:13 CrazyData 阅读(5655) 评论(0) 推荐(0)
摘要:1.准备Linux环境 1.0 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windo 阅读全文
posted @ 2016-04-20 17:02 CrazyData 阅读(2197) 评论(0) 推荐(0)