摘要：
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTable，即分布式NoSQL列数据库，外加Zo 阅读全文
摘要：
2.1 数据准备 数据集下载与查看 cd /usr/local ls sudo mkdir bigdatacase sudo chown -R hadoop:hadoop ./bigdatacase cd bigdatacase mkdir dataset cd ~/下载 ls unzip user 阅读全文
摘要：
mysql准备接受数据的数据库与表 2.hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 5.电子书 阅读全文
摘要：
1.准备本地txt文件 2.启动hadoop，启动hive start-all.sh hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本文件 2.将文本文件 阅读全文
摘要：
列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数; 关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并插入数据 （1）createTable(St 阅读全文
摘要：
本地文件系统创建一个文件，输入带姓名学号信息。 查看新建文件所在目录 查看新建文件内容 将此文件上传到HDFS文件系统上的用户目录 HDFS上查看相应目录 HDFS上查看文件内容 HDFS上查看文件大小 删除本地1步骤创建的文件 将HDFS上的文件下载到本地 查看本地文件目录 在浏览器的效果： 阅读全文
摘要：
描述HDFS体系结构、工作原理与流程 伪分布式安装Hadoop 阅读全文
摘要：
1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 Hadoop是一个能对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。 ·高可靠性 采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。 ·高效性 阅读全文
摘要：
1.了解微信、微博、小视频每天产生的数据量与数据类型 大数据的类型大致可分为三类： 1)传统企业数据(Traditionalenterprisedata)：包括 CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。 2)机器和传感器数据(Machine-generated/ 阅读全文