摘要：
1.mysql准备接受数据的数据库与表 2.hive准备待传输的数据 3.sqoop进行数据传输 4..mysql查看传输结果 阅读全文
posted @ 2020-12-11 21:24
费志元
阅读(47)
评论(0)
推荐(0)
摘要：
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 阅读全文
posted @ 2020-12-06 18:48
费志元
阅读(62)
评论(0)
推荐(0)
摘要：
1.任务： 列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数； 关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并插入数据； 编程完成以下指定功能 阅读全文
posted @ 2020-11-21 23:51
费志元
阅读(139)
评论(0)
推荐(0)
摘要：
1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 随着这几年大数据浪潮的兴起，hadoop的各种版本也快速在国内流传和使用。当前主要的hadoop版本有以下几种： 1、Apache hadoop 的2.0版本，它的模块主要有以下几个： （1）hadoop通用模块，支持其他hadoop模 阅读全文
posted @ 2020-09-19 17:03
费志元
阅读(143)
评论(0)
推荐(0)
摘要：
了解微信、微博、小视频每天产生的数据量与数据类型。 据我个人理解，微信的主要数据应该包括：聊天记录，公众号阅览数据，朋友圈数据等，这是微信最主要的三个功能，所产生的数据也是最为主要的。至于微信产生的数据量有多大，在我手机应用中，微信占用的内存是最大的，可想而知微信每天产生的数据量有多大。据我在网上搜 阅读全文
posted @ 2020-09-12 11:19
费志元
阅读(156)
评论(0)
推荐(0)
浙公网安备 33010602011771号