摘要: 使用sqoop进行将Hive词频统计的结果数据传输到Mysql中。 1.mysql准备接受数据的数据库与表 2.hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 阅读全文
posted @ 2020-12-11 18:30 🐷!你别跑! 阅读(49) 评论(0) 推荐(0) 编辑
摘要: 结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书 结果 阅读全文
posted @ 2020-12-06 18:59 🐷!你别跑! 阅读(71) 评论(0) 推荐(0) 编辑
摘要: 1.任务: 列出HBase所有的表的相关信息,例如表名; 3. 编程完成以下指定功能(教材P92下): (1)createTable(String tableName, String[] fields)创建表。 (2)addRecord(String tableName, String row, S 阅读全文
posted @ 2020-11-22 18:44 🐷!你别跑! 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 阅读全文
posted @ 2020-11-06 13:46 🐷!你别跑! 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-17 16:39 🐷!你别跑! 阅读(207) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-10 13:07 🐷!你别跑! 阅读(69) 评论(0) 推荐(0) 编辑
摘要: `1.当前主要的hadoop版本有以下几种: 1、Apache hadoop 的2.0版本,它的模块主要有以下几个: (1)hadoop通用模块,支持其他hadoop模块的通用工具集; (2)Hadoop分布式文件系统,支持对应数据高吞吐量访问的分布式文件系统; (3)用于作业调度和集群资源管理的H 阅读全文
posted @ 2020-09-19 18:11 🐷!你别跑! 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 1:微信、微博、小视频每天产生大量的数据微信的每日产生的数据量官方发布了2018微信数据,通过大数据对过去一年的微信生活进行了回顾和剖析(截至2018年9月)。数据显示,每个月有10.825亿位用户保持活跃,每个月有6300万位55岁以上的用户保持活跃。此外,每天有450亿次信息发送出,有4.1亿次 阅读全文
posted @ 2020-09-12 00:09 🐷!你别跑! 阅读(106) 评论(0) 推荐(0) 编辑