摘要: 一、hive用本地文件进行词频统计 1.准备本地txt文件: 2.启动hadoop,启动hive: 3.创建数据库,创建文本表: 4.映射本地文件的数据到文本表中: 5.hql语句进行词频统计交将结果保存到结果表中: 6.查看统计结果: 二、hive用HDFS上的文件进行词频统计1.准备电子书或其它 阅读全文
posted @ 2020-12-06 16:43 べ天く真し有邪↙ 阅读(97) 评论(0) 推荐(0) 编辑
摘要: Hadoop使用实例 1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2、编写map与reduce函数 3、本地测试map与reduce 4、将文本数据上传到HDFS上 5、用hadoop streaming提交任务 6、查看运行结果: 7、计算结果取回到本地: 阅读全文
posted @ 2020-11-22 17:52 べ天く真し有邪↙ 阅读(45) 评论(0) 推荐(0) 编辑
摘要: 任务一: 1、安装hbase: 2、列出HBase所有的表的相关信息: 3、在终端打印出指定的表的所有记录数据: 4、向已经创建好的表添加和删除指定的列族或列: 5、清空指定的表的所有记录数据: 6、统计表的行数: 二、关系型数据库中的表和数据(教材P92上),要求将其转换为适合于HBase存储的表 阅读全文
posted @ 2020-11-22 17:34 べ天く真し有邪↙ 阅读(139) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-24 19:49 べ天く真し有邪↙ 阅读(75) 评论(0) 推荐(0) 编辑
摘要: 1、 2、 阅读全文
posted @ 2020-10-16 15:42 べ天く真し有邪↙ 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 一、 功能 0.20 0.21 0.22 0.23 1.0 2.0 CDH3 CDH4 CDH5 稳定性 √ √ √ √ √ Append √ √ √ √ √ √ √ √ Security √ √ √ √ √ √ √ √ Symlink √ √ √ √ √ √ YARN √ √ √ √ MRv1 √ 阅读全文
posted @ 2020-09-19 13:20 べ天く真し有邪↙ 阅读(81) 评论(0) 推荐(0) 编辑
摘要: 1、微信用户每天发送信息量总计大概在800亿条左右,用户数据就是使用之后产生得数据,也就是登录信息和聊天记录,而聊天记录包含文字、图片和视频等等!但微信的数据不会很大 聊天记录都是在本地的 上传的聊天记录也只保存七天。 2、对于一家企业来说,供应链方面的业务需求也是整体运作当中非常重要的一环,在零售 阅读全文
posted @ 2020-09-11 22:06 べ天く真し有邪↙ 阅读(159) 评论(0) 推荐(0) 编辑