Jayson

老牛亦解韶光贵,不等扬鞭自奋蹄。

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

随笔分类 -  Hadoop

摘要:官网信息:http://hbase.apache.org/book.html#java JDK的对应关系: 用jdk1.8+hadoop2.7.4/hadoop2.7.6+zookeeper3.4.10+hbase2.0.0,没啥毛病。 阅读全文
posted @ 2018-07-25 23:25 jaysoncho 阅读(10088) 评论(0) 推荐(1)

摘要:一.shell脚本中的相关配置 -input : 指定作业的输入文件的HDFS路径, 支持使用*通配符, 支持指定多个文件或目录, 可多次使用 -output : 指定作业的输出文件的HDFS路径, 输出目录不能存在, 执行作业的用户必须有创建该目录的权限, 只能使用一次 -mapper : 自己写 阅读全文
posted @ 2017-09-03 13:16 jaysoncho 阅读(274) 评论(0) 推荐(0)

摘要:简单的WordCount栗子--类似于编程语言中的hello world 1.shell脚本run.sh 2.map.py 3.red.py 启动hadoop集群后, 运行shell脚本: 以下是Tracking URL中的部分内容: 查看输出到hdfs的目录/output 运行以下命令查看结果中排 阅读全文
posted @ 2017-09-03 11:54 jaysoncho 阅读(342) 评论(0) 推荐(0)

摘要:环境: hadoop1.2.1 1.启动hadoop集群时DataNode无法启动 这个问题基本上是因为在namenode端多次运行hadoop namenode –format 导致的。在hadoop的core-site.xml文件中(不同的hadoop版本名字会有不同)找到<name>hadoo 阅读全文
posted @ 2017-09-01 00:55 jaysoncho 阅读(371) 评论(0) 推荐(0)

摘要:继续上一篇:http://www.cnblogs.com/CoolJayson/p/7430654.html 首先需要安装上台虚拟机, 分别为: master, salve1, slave2 1.复制CentOS_6.5, 分别重命名为-slave1和-slave2 2.用虚拟机打开slave1和s 阅读全文
posted @ 2017-08-26 11:29 jaysoncho 阅读(274) 评论(0) 推荐(0)