随笔分类 - hadoop
记录大数据课程的实验文档
摘要:作业设计与资料链接: http://pan.baidu.com/s/1o6MJTyi 密码: 628d一、 作业要求根据关注列表relsample.json文件,设计MapReduce算法得到被关注次数最多的前十人,即寻找谁是大V。二、 算法设计第一个Mapper用于解析json文件:从relsam...
阅读全文
摘要:参考教程在Hadoop上使用庖丁解牛(较复杂,并未采用,可以之后试试)http://zhaolinjnu.blog.sohu.com/264905210.htmlLucene3.3、Lucene3.4中文分词——庖丁解牛分词实例(屈:注意版本)http://www.360doc.com/conten...
阅读全文
摘要:创建目录上传英文测试文档(如果已有则无需配置)。a.dfs上创建input目录hadoop@ubuntu-V01:~/data/hadoop-2.5.2$bin/hadoop fs -mkdir -p inputb.把hadoop目录下的README.txt拷贝到dfs新建的input里hadoop...
阅读全文
摘要:使用的教程为:1. windows7+eclipse+hadoop2.5.2环境配置http://www.cnblogs.com/huligong1234/p/4137133.html2. Hadoop 在Windows7操作系统下使用Eclipse来搭建Hadoop开发环境http://www....
阅读全文
摘要:一、安装hadoop前的准备工作1.修改主机字符显示vi /etc/sysconfig/i18n修改为LANG="zh_CN"2. 修改主机名称1) vi /etc/sysconfig/network修改为HOSTNAME=master(/slave1/slave2)------每台主机改成自己的名...
阅读全文

浙公网安备 33010602011771号