摘要:
一、hive用本地文件进行词频统计 1.准备本地txt文件 1 2 echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop,启动hive 3.创建数据库,创建文本表 use hive(创建数据库,选择数据库) creat 阅读全文
摘要:
1、安装hbase 列出HBase所有的表的相关信息,例如表名 在终端打印出指定的表的所有记录数据 向已经创建好的表添加和删除指定的列族或列 清空指定的表的所有记录数据 统计表的行数 关系型数据库中的表和数据(教材P92上),要求将其转换为适合于HBase存储的表并插入数据 编程完成以下指定功能 J 阅读全文
摘要:
1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 阅读全文
摘要:
1、HDFS体系结构 (1)读文件流程 (2) 2、 阅读全文
摘要:
1.微信的数据不会很大 聊天记录都是在本地的 上传的聊天记录也只保存七天存储的数据就是你的个人资料 你的好友关系 好友的备注 之类的 微信数据类型:Number类型,string类型,布尔类型,Object类型, 腾讯微博现在是有4.69亿,以这个数字来讲,每天产生多少信息那是可想而知的,8200万 阅读全文