摘要： 1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTable，即 阅读全文

摘要： 网站用户行为分析 操作过程 1)本地数据集上传到数据仓库Hive A.数据集下载与查看 B.数据集预处理 C.把数据集导入HDFS中 D.在Hive上创建数据库 2）Hive数据分析 （1）用户行为分析需求：2014-12-11~12号有多少条购买商品的记录 语句：select count(*) f 阅读全文

摘要： 使用sqoop进行将Hive 词频统计的结果数据传输到Mysql中。 mysql准备接受数据的数据库与表 hive准备待传输的数据 sqoop进行数据传输 mysql查看传输结果 先用测试文件做实验，成功后将电子书的统计结果传输出mysql中。 阅读全文

摘要： 列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数。 关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并插入数据。 阅读全文

摘要： 1.hadoop安装 2.hdfs结构图 阅读全文

摘要： 1. 版本 对应特性 1.0 安全 HBase（append / hsynch / hflush和安全性） webhdfs（全面支持安全性） 性能增强了对HBase对本地文件的访问 其他性能增强，错误修复和功能 1.1 从主干向后移植HDFS的许多性能改进 使用SPNEGO而不是Kerberized 阅读全文

摘要： 1.微博每天产生四亿多的数据量，数据类型为byte 微信每天产生450亿多的数据量，数据类型为byte 小视频每天产生上千万的数据量，数据类型为byte 2.随着智能产品的发展，如华为公司可以掌握海量的用户信息，利用大数据技术分析中国国内信息，可以改进手机模式运行，合理设计用户需求响应系统，确保手机 阅读全文