摘要: 1、安装hive 2安装mysql 3、词频统计 阅读全文
posted @ 2020-12-06 21:44 啊他是 阅读(75) 评论(0) 推荐(0) 编辑
摘要: 列出HBase所以的表的相关信息,例如表名; 在终端打印出指定的表的所有记录数据 向已经创建好的表添加和删除指定的列族或列 清空指定的表的所有记录数据 统计表的行数 2.关系型数据库中的表和数据(教材P92上),要求将其转换为适合于HBase存储的表并插入数据。 学生表 课程表 选课表 3.编程完成 阅读全文
posted @ 2020-11-22 21:09 啊他是 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 编写map与reduce函数 本地测试map与reduce 将文本数据上传至HDFS上 用hadoop streaming提交任务 查看运行结果 计算结果取回到本地 阅读全文
posted @ 2020-11-06 19:40 啊他是 阅读(81) 评论(0) 推荐(0) 编辑
摘要: 本地文件系统创建一个文件,输入带姓名学号信息。 查看新建文件所在目录 查看新建文件内容 将此文件上传到HDFS文件系统上的用户目录 HDFS上查看相应目录 HDFS上查看文件内容 HDFS上查看文件大小 删除本地1步骤创建的文件 将HDFS上的文件下载到本地 查看本地文件目录 阅读全文
posted @ 2020-10-24 00:07 啊他是 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 一、描述HDFS体系结构、工作原理与流程。 HDFS的体系结构图 HDFS读数据的过程: 客户端会发起请求 DF向NN生成一个文件路径。NN会返回这个文件第一个Blocks所在的DN列表信息 客户端根据返回的DN列表,回选取离它最近的节点,创建Socket连接 接着第一个节点与第二个节点、第二个节点 阅读全文
posted @ 2020-10-16 23:41 啊他是 阅读(96) 评论(0) 推荐(0) 编辑
摘要: 1.了解对比Hadoop不同版本的特性,可以用图表的形式呈现。 hadoop是生态系统,如果要和另外两个比,那也该是hadoop的mr和他们比,hadoop是批处理模型,storm是流式处理模型,spark介于二者之间,不过现在storm和spark互相在涉及对方的领域,spark出streamin 阅读全文
posted @ 2020-09-19 13:18 啊他是 阅读(351) 评论(0) 推荐(0) 编辑
摘要: 1.两岁多的抖音短视频app正在成为国民级短视频产品,他的国内日活跃用户突破2.5亿,月活跃更是达到了5亿人的高活跃量,平均每人每月都有13.5天都在使用抖音。2.利用大数据提高商业决策水平方面的案例分析。3.大数据 人工智能 云计算 物联网 区块链这几者的关系大家讨论了其实很多次了,物联网是执行端 阅读全文
posted @ 2020-09-11 10:35 啊他是 阅读(498) 评论(0) 推荐(0) 编辑