随笔分类 -  hadoop

摘要:在使用hadoop 进行mapreduce过程中 发现需要导入的记录内容复杂 在进行map过程中 value获取的值是按\n来分块 也就是每次value取到的值是\n前面的内容 这难免会导致与功能需求不符(比如一条短信内容中存在回车换行,hadoop就会将一条短信解析成2条) 这时候经讨论 我们提出 阅读全文
posted @ 2018-04-02 20:10 滴滴嘟 阅读(215) 评论(0) 推荐(0)
摘要:Hadoop是使用JAVA写的,所以需要先安装JAVA环境。本次安装的是hadoop-2.7.4,需要JDK 7以上版本。确认java环境 并下载hadoop在linux下tar解压hadoop-2.7.4.tar.gz在配置xml文件属性前 推荐将linux中的/etc/hosts 文件中添加一个 阅读全文
posted @ 2018-04-02 20:10 滴滴嘟 阅读(213) 评论(0) 推荐(0)