摘要: 一、hive用本地文件进行词频统计 1.准备本地txt文件 1 2 echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop,启动hive 3.创建数据库,创建文本表 use hive(创建数据库,选择数据库) creat 阅读全文
posted @ 2020-12-06 21:26 老爹111 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 1、安装hbase 列出HBase所有的表的相关信息,例如表名 在终端打印出指定的表的所有记录数据 向已经创建好的表添加和删除指定的列族或列 清空指定的表的所有记录数据 统计表的行数 关系型数据库中的表和数据(教材P92上),要求将其转换为适合于HBase存储的表并插入数据 编程完成以下指定功能 J 阅读全文
posted @ 2020-11-22 21:34 老爹111 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 阅读全文
posted @ 2020-11-06 21:06 老爹111 阅读(83) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-24 21:49 老爹111 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 1、HDFS体系结构 (1)读文件流程 (2) 2、 阅读全文
posted @ 2020-10-17 21:19 老爹111 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-10 22:00 老爹111 阅读(64) 评论(0) 推荐(0) 编辑
摘要: 1.微信的数据不会很大 聊天记录都是在本地的 上传的聊天记录也只保存七天存储的数据就是你的个人资料 你的好友关系 好友的备注 之类的 微信数据类型:Number类型,string类型,布尔类型,Object类型, 腾讯微博现在是有4.69亿,以这个数字来讲,每天产生多少信息那是可想而知的,8200万 阅读全文
posted @ 2020-09-12 13:02 老爹111 阅读(97) 评论(0) 推荐(0) 编辑