森下下士

摘要： 网站用户行为分析 步骤 1.1 本地数据集上传到数据仓库Hive 数据集下载与查看 数据集预处理 把数据集导入HDFS中 在Hive上创建数据库 1.2 Hive数据分析 给出数据分析需求 用select语句实现数据分析 数据分析结果查看与保存 1.3 Hive、MySQL、HBase数据互导 操作 阅读全文

摘要： 使用sqoop进行将Hive 词频统计的结果数据传输到Mysql中。 mysql准备接受数据的数据库与表 hive准备待传输的数据 sqoop进行数据传输 mysql查看传输结果 先用测试文件做实验，成功后将电子书的统计结果传输出mysql中。 一.测试文件 1.mysql准备接受数据的数据库与表 阅读全文

摘要： 一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表同时映射本地文件的数据到文本表中 4.hql语句进行词频统计交将结果保存到结果表中。 5.保存并且查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大 阅读全文

摘要： 第一项作业 1.列出HBase所有的表的相关信息，例如表名； 2.在终端打印出指定的表的所有记录数据； 3.向已经创建好的表添加和删除指定的列族或列； 4.清空指定的表的所有记录数据； 5.统计表的行数。 第二项作业 关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并 阅读全文

摘要： 一.词频统计 1.下载电子书到wc文件夹 2.编写map余reduce函数 3.在本地测试map与reduce 4.将文本数据上传到HDFS 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回本地 二.气象数据分析（求2020年最低温度） 1.下载天气报告 2.整合数 阅读全文

摘要： 1.本地文件系统创建一个文件，输入带姓名学号信息。2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8.删除本地1步骤创建的文件 9.将HDFS上的文件下载到本地 10. 阅读全文

摘要： 1.用自己的图，描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop。 阅读全文

摘要： 1. 熟悉 Linux系统的使用 2. 在Ubuntu下安装MySql及其常用操作 阅读全文

摘要： Hadoop演进与Hadoop生态 1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。现在市场上主流的Hadoop除了Apache hadoop外，还有DKhadoop发行版、cloudera发行版、hortonworks发行版、MAPR发行版和华为hadoop发行版。 DKhadoop 阅读全文

摘要： 大数据概述 1.了解微信、微博、小视频每天产生的数据量与数据类型。 根据我个人的手机端微信使用情况，在距发布本次博客最近的24小时，我手机上的微信产生了25.52MB的移动数据。其中的数据类型有文本类型，数字类型，jpg等多种数据类型。 由于本人不使用微博，不看小视频，因此这两项的数据调查以网络统计 阅读全文