隔壁老尤

摘要： 1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 答:Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mah 阅读全文

摘要： 使用sqoop进行将Hive 词频统计的结果数据传输到Mysql中。 mysql准备接受数据的数据库与表 hive准备待传输的数据 sqoop进行数据传输 mysql查看传输结果 阅读全文

摘要： 一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wc cd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop，启动hive start-all.sh hive 3.创建数据库，创建文本 阅读全文

摘要： 1.任务： 列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数。 2.关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并插入数据。 编程完成以下指定 阅读全文

摘要： 必做 1.词频统计 下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 编写map与reduce函数 本地测试map与reduce 将文本数据上传至HDFS上 用hadoop streaming提交任务 查看运行结果 计算结果取回到本地 加分 2.气象数据分析 如：求每日最高温度 批量下载气象数 阅读全文

摘要： 本地文件系统创建一个文件，输入带姓名学号信息。 查看新建文件所在目录 查看新建文件内容 将此文件上传到HDFS文件系统上的用户目录 HDFS上查看相应目录 HDFS上查看文件内容 HDFS上查看文件大小 删除本地1步骤创建的文件 将HDFS上的文件下载到本地 查看本地文件目录 阅读全文

摘要： 1、描述HDFS体系结构 2、伪分布式安装Hadoop。 阅读全文

摘要： 1. 熟悉 Linux系统的使用 2. 在Ubuntu下安装MySQL及其常用操作 阅读全文

摘要： 1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 答：DKhadoop发行版：有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高达5倍（最大）的性能提升 阅读全文

摘要： 1.了解微信、微博、小视频每天产生的数据量与数据类型？ 答：微信1月9日发布《2018微信年度数据报告》，报告显示，2018年微信每个月有10.82亿用户保持活跃，每天有450亿次信息发送出去，每天有4.1亿音视频呼叫成功。 2.选择一个你感兴趣的领域应用数据思维进行分析决策的案例。（量身定制个人的 阅读全文