摘要： 一、hive用本地文件进行词频统计 1.准备本地txt文件 echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop，启动hive 3.创建数据库，创建文本表 use hive（创建数据库，选择数据库） create ta 阅读全文

摘要： 1.任务： 列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数。 2.关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并插入数据。 创建表 ‘Stu 阅读全文

摘要： 1、下载Hbase 网盘下载地址：链接: https://pan.baidu.com/s/19qWnP6LQ-cHVrvT0o1jTMg 密码: 44hs 下载hbase 到~/下载目录下 2、解压gz完成安装 sudo tar -zxf hbae-1.1.2-bin.tar.gz -C /usr/ 阅读全文

摘要： 一、词频统计 1、编写mapper.py 2、编写reduce.py 3、修改变量 重新运行变量 source ~/.bashrc 4、下载输入目标 5、上传目标 6、编写run.sh gedit run.sh 7、运行run.sh source run.sh 8、查看结果 hdfs dfs -ca 阅读全文

摘要： 本地文件系统创建一个文件，输入带姓名学号信息。 查看新建文件所在目录 查看新建文件内容 将此文件上传到HDFS文件系统上的用户目录 HDFS上查看相应目录 HDFS上查看文件内容 HDFS上查看文件大小 删除本地1步骤创建的文件 将HDFS上的文件下载到本地 查看本地文件目录 阅读全文

摘要： 1.基本命令 阅读全文

摘要： 1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 (1)0.20.0~0.20.2: Hadoop的0.20分支非常稳定，虽然看起来有些落后，但是经过生产环境考验，是 Hadoop历史上生命周期最长的一个分支，CDH3、CDH4虽然包含了0.21和0.22分支的新功能和补丁，但都是基于 阅读全文

摘要： 了解微信、微博、小视频每天产生的数据量与数据类型。 2018年微信每天有450亿次信息发送出，有4.1亿次音视频呼叫成功。 数据类型字符串String 2.选择一个你感兴趣的领域应用数据思维进行分析决策的案例。 在体育和娱乐方面，大数据可以帮助我们训练球队，决定投拍那种题材的影视作品，以及预测比赛结 阅读全文