摘要： 下载txt移动到虚拟机 上传到hdfs hive创建学生课程分数表 导入文件内容到hive表中并查看数据前10行 取出与自己名字相匹配的一个人的课程分数录入到HBASE (1) 用Streaming提交MapReduce任务 run.sh (2) 查看统计运行结果 阅读全文

摘要： 一.安装Hive 下载解压重命名权限 配置环境变量 修改Hive配置文件 修改/usr/local/hive/conf下的hive-site.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 <?xml versio 阅读全文

摘要： def getText(): txt=open("D:\\test.txt","r").read() txt=txt.lower() punctuation = r"""!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~“”？，！【】（）、。：；’‘……￥·""" for ch in 阅读全文

摘要： 1.理解HBase表模型及四维坐标：行键、列族、列限定符和时间戳。 2.启动HDFS，启动HBase，进入HBaseShell命令行。 3.列出HBase中所有的表信息list 4.创建表create 5.查看表详情desc 6.插入数据put 7.查看表数据scan 创建用户信息 8.多版本实验： 阅读全文

摘要： 1.下载压缩文件 2.解压 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 7.启动HDFS，启动Hbase 8.进入shell界面 9.停止Hbase，停止HDFS运行 阅读全文

摘要： 一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 阅读全文

摘要： Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。——分布式文件系统（GF 阅读全文

摘要： 启动hdfs 查看与创建hadoop用户目录。 在用户目录下创建与查看input目录。 将hadoop的配置文件上传到hdfs上的input目录下。运行MapReduce示例作业，输出结果放在output目录下。 查看output目录下的文件。 6.查看文件 7.下载并查看 7.停止 配置环境后打开 阅读全文

摘要： Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。——分布式文件系统（GF 阅读全文

摘要： 阅读全文