摘要: 1、安装hive 2安装mysql 3、词频统计 阅读全文
posted @ 2020-12-06 20:52 李信池 阅读(47) 评论(0) 推荐(0) 编辑
摘要: 使用HBase Shell命令 或 使用HBase Java API完成: 一任务: 安装hbase 1列出HBase所有的表的相关信息,例如表名; 2在终端打印出指定的表的所有记录数据; 3向已经创建好的表添加和删除指定的列族或列; 4清空指定的表的所有记录数据; 5统计表的行数。 二.关系型数据 阅读全文
posted @ 2020-11-22 19:21 李信池 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 1.词频统计 1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2.编写map与reduce函数 . 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 阅读全文
posted @ 2020-11-06 16:08 李信池 阅读(80) 评论(0) 推荐(0) 编辑
摘要: 1.本地文件系统创建一个文件,输入带姓名学号信息。 2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8.删除本地1步骤创建的文件 9.将HDFS上的文件下载到本地 10 阅读全文
posted @ 2020-10-24 21:41 李信池 阅读(90) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-17 21:09 李信池 阅读(65) 评论(0) 推荐(0) 编辑
摘要: 了解对比Hadoop不同版本的特性,可以用图表的形式呈现。 (1)Apache Hadoop2.0版本,有以下模块: Hadoop通用模块,支持其他Hadoop模块的通用工具集; Hadoop分布式文件系统(HDFS),支持对应用数据高吞吐量访问的分布式文件系统; Hadoop YARN,用于作业调 阅读全文
posted @ 2020-09-19 21:35 李信池 阅读(75) 评论(0) 推荐(0) 编辑
摘要: 据报告显示2018年每月有10.825亿位的在活跃用户,其中55岁以上用户有6300万,每天都有450亿次的信息发送在微信用户之间,有4.1亿次的音频呼叫成功,视频通话用户相较于三年前则增长了570%。据IDC发布《数据时代2025》的报告显示,全球每年产生的数据将从2018年的33ZB增长到175 阅读全文
posted @ 2020-09-11 13:54 李信池 阅读(114) 评论(0) 推荐(0) 编辑