摘要： 使用sqoop进行将Hive词频统计的结果数据传输到Mysql中。 1.mysql准备接受数据的数据库与表 2. hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 阅读全文

摘要： 使用sqoop进行将Hive词频统计的结果数据传输到Mysql中。 1.mysql准备接受数据的数据库与表 2. hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 阅读全文

摘要： 一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计1.准备电子书或其它大的文本文 阅读全文

摘要： 完成安装hbase： 使用HBase Shell命令 1.任务： 列出HBase所有的表的相关信息，如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数。 2.关系型数据库中的表和数据（教材P92上)，要求将其转换为适 阅读全文

摘要： 一.词频统计 1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 2.编写map与reduce函数 3.本地测试map与reduce 测试代码cat 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 二.气象数据分析 气 阅读全文

摘要： 1.本地文件系统创建一个文件，输入带姓名学号信息。 2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8.删除本地1步骤创建的文件 9.将HDFS上的文件下载到本地 10 阅读全文

摘要： 1.（1）HDFS的体系结构 （2）HDFS的工作原理与流程 2.（1）下载vim （2）伪分布式安装Hadoop。 （3）安装成功 阅读全文

摘要： 1.Linux系统的常用命令 2.在Ubuntu下安装MySQL及其常用操作 （1）开启mysql （2）进入mysql shell 界面 （3）解决mysql乱码问题 （4）创建姓名缩写数据库，创建学生数据表，输入自己的学号姓名信息 （5）修改记录 （6）删除记录查看mysql版本 阅读全文

摘要： 1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 当前主要的Hadoop版本有以下几种： 1、Apache Hadoop 的2.0版本，它的模块主要有以下几个： （1）Hadoop通用模块，支持其他Hadoop模块的通用工具集； （2）Hadoop分布式文件系统，支持对应数据高吞吐量访 阅读全文

摘要： 1.了解微信、微博、小视频每天产生的数据量与数据类型。微信每天产生10亿以上的数据量，每天有450亿次信息发出，数据类型为String。微博每天产生上亿条数据量，数据类型主要有String，Object等。流行的小视频每天产生几亿甚至十几亿以上的数据量，数据类型主要有String，Object和Bo 阅读全文