摘要: 一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 阅读全文
posted @ 2020-12-06 00:13 前天是兔子 阅读(46) 评论(0) 推荐(0) 编辑
摘要: 老师:MissDu 提交作业 使用HBase Shell命令 或 使用HBase Java API完成: 1.任务: 列出HBase所有的表的相关信息,例如表名; 在终端打印出指定的表的所有记录数据; 向已经创建好的表添加和删除指定的列族或列; 清空指定的表的所有记录数据; 统计表的行数。 2.关 阅读全文
posted @ 2020-11-22 11:48 前天是兔子 阅读(288) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-24 12:04 前天是兔子 阅读(80) 评论(0) 推荐(0) 编辑
摘要: HDFS写数据流程 HDFS读数据流程 阅读全文
posted @ 2020-10-17 14:36 前天是兔子 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-10 16:30 前天是兔子 阅读(84) 评论(0) 推荐(0) 编辑
摘要: 一、作业 1.了解微信、微博、小视频每天产生的数据量与数据类型。 大数据时代,微信微博每天产生的数据量都呈现出了“井喷式”增长,已经从TB级别跃升到了PB级别,在它们的数据类型种类繁多,主要包括邮件,音频,视频,消息,位置信息,链接信息,网络日志等等。 2.选择一个你感兴趣的领域应用数据思维进行分析 阅读全文
posted @ 2020-09-11 09:48 前天是兔子 阅读(161) 评论(0) 推荐(0) 编辑