方大师

摘要： 2.1 数据准备 （1）数据集下载与查看 cd /usr/local ls sudo mkdir bigdatacase sudo chown -R hadoop:hadoop ./bigdatacase cd bigdatacase mkdir dataset cd ~/下载 unzip user 阅读全文

摘要： 测试 1.mysql准备接受数据的数据库与表 2. hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 电子书 1.mysql准备接受数据的数据库与表 2.hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 阅读全文

摘要： 一、hive用本地文件进行词频统计 1.准备本地txt文件2.启动hadoop，启动hive 3.创建数据库，创建文本表4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本文件 阅读全文

摘要： 1.任务： 列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数。 2.关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并插入数据。 student表 阅读全文

摘要： 一、词频统计 1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 二、气象数据分析 1.批量下载气象数 阅读全文

摘要： 1、本地文件系统创建一个文件，输入带姓名学号信息。 2、查看新建文件所在目录 3、查看新建文件内容 4、将此文件上传到HDFS文件系统上的用户目录 5、HDFS上查看相应目录 6、HDFS上查看文件内容 7、HDFS上查看文件大小 8、删除本地1步骤创建的文件 9、将HDFS上的文件下载到本地 10 阅读全文

摘要： 1.Hadoop安装 2.HDFS体系结构： 阅读全文

摘要： （1）上面完成了Linux系统的安装以后，如果读者是初次使用Linux系统，请熟悉 （2）在Ubuntu下安装MySQL及其常用操作 阅读全文

摘要： 恢复内容开始 一、了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 发行版本： 1、DKhadoop发行版：计算性能比开源的大平台有了五倍的提升，而且极大的简化了集群的管理运维，增强了集群的高可用性、高可维护性、高稳定性。 2、Cloudera发行版：CDH是Cloudera的hadoop 阅读全文

摘要： 1.微信每天有450亿次信息发送 微博月活跃用户达到5.16亿 短视频用户规模达6.48亿 2.玩游戏的时候，大多数时候不管是用户还是厂商都绕不开氪金，付费率就是一个很重要指标：付费玩家所占据总玩家的比例，如果细分的话，付费率可以分为注册用户付费率，平均在线付费率和活跃用户付费率。大家玩过一些页游， 阅读全文