摘要： 2.1 数据准备 数据集下载与查看 cd /usr/local ls sudo mkdir bigdatacase sudo chown -R hadoop:hadoop ./bigdatacase cd bigdatacase mkdir dataset cd ~/下载 ls unzip user 阅读全文

摘要： 使用sqoop进行将Hive 词频统计的结果数据传输到Mysql中。 mysql准备接受数据的数据库与表 hive准备待传输的数据 sqoop进行数据传输 mysql查看传输结果 先用测试文件做实验，成功后将电子书的统计结果传输出mysql中。 阅读全文

摘要： 一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wc cd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop，启动hive start-all.sh hive 3.创建数据库，创建文本 阅读全文

摘要： 使用HBase Shell命令 或 使用HBase Java API完成： 1.任务： 列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数。 2.关系型数据库中的表和数据（教材P9 阅读全文

摘要： 1、本地文件系统创建一个文件，输入带姓名学号信息。 2、查看新建文件所在目录 3、查看新建文件内容 4、将此文件上传到HDFS文件系统上的用户目录 5、HDFS上查看相应目录 6、HDFS上查看文件内容 7、HDFS上查看文件大小 8、删除本地1步骤创建的文件 9、将HDFS上的文件下载到本地 10 阅读全文

摘要： 1.用自己的图，描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop。 阅读全文

摘要： 补 第四次作业：Hadoop安装 与 HDFS体系结构 和 第五次作业：HDFS 操作命令 1.词频统计 下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 编写map与reduce函数 本地测试map与reduce 将文本数据上传至HDFS上 用hadoop streaming提交任务 查看运 阅读全文

摘要： 1. 熟悉 Linux系统的使用 （1）上面完成了Linux系统的安装以后，如果读者是初次使用Linux系统，请熟悉一下Linux常用命令 （2）如果在上面步骤中，读者采用了虚拟机的方式安装了Linux系统，可以学习一下如何在Windows和Linux之间互相传输文件 （3）在Linux系统中，经常 阅读全文

摘要： 1、了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 答： 1、Apache hadoop 的2.0版本，它的模块主要有以下几个： （1）hadoop通用模块，支持其他hadoop模块的通用工具集； （2）Hadoop分布式文件系统，支持对应数据高吞吐量访问的分布式文件系统； （3）用于作 阅读全文

摘要： 1、了解微信、微博、小视频每天产生的数据量与数据类型。 答：微信：数据类型：　String：字符串 数据量：4亿+ Number：数字 Object：对象 Array：数组 Bool：布尔值 Date：时间 Geo：多种地理位置类型 Null 微博：数据类型：字节 数据量：5亿+ 抖音：数据类型：字 阅读全文