随笔分类 -  Hadoop

摘要:hadoop集群其中一个节点重启,报如下错 在需要ssh机器 /root/.ssh目录下面,删除known_hosts文件即可。 重新ssh成功 阅读全文
posted @ 2019-03-26 18:03 白石江边 阅读(140) 评论(0) 推荐(0)
摘要:1、ResourceManager相关配置参数 (1) yarn.resourcemanager.address 参数解释:ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等。 默认值:${yarn.resourcemanager.hostname 阅读全文
posted @ 2019-02-27 09:54 白石江边 阅读(254) 评论(0) 推荐(0)
摘要:两份数据,若干行,若干列。均有相同一列,作为key。连接,完整显示两份数据。 data1.txt zhangsan man 25 teacherlisi man 28 policewangwu man 26 studentguoxiao man 26 salesmanwangmeng women 2 阅读全文
posted @ 2018-07-05 18:00 白石江边 阅读(864) 评论(0) 推荐(0)
摘要:Hive 用户接口主要有三个:命令行(CLI),客户端(Client) 和 Web界面(WUI)。其中最常用的是 CLI,启动的时候,会同时启动一个 Hive 服务。Client 是 Hive 的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出 Hive Ser 阅读全文
posted @ 2018-07-05 17:51 白石江边 阅读(20579) 评论(0) 推荐(0)
摘要:一、Streaming 注意:输出目录不能存在,故启动任务前,删除。mapper.sh,reducer.sh文件与start.sh文件同属于当前目录下 二、Python 注意:输出目录不能存在,故启动任务前,删除。mapper.sh,reducer.sh文件与start.sh文件同属于当前目录下 三 阅读全文
posted @ 2018-07-05 17:48 白石江边 阅读(433) 评论(0) 推荐(0)