摘要： 02 环境搭建 1、安装Linux操作系统 2、安装关系型数据库MySQL 3、安装大数据处理框架Hadoop，查看IP 04 Hadoop思想与原理，Hbase架构与原理 1.用图与自己的话，简要描述Hadoop起源与发展阶段。（作业3中剪过来） Hadoop最早起源于Nutch。Nutch的设计 阅读全文

摘要： 一.安装Hive 下载解压重命名权限 配置环境变量 $HIVE_HOME 修改Hive配置文件 gedit 配置mysql驱动 下载合适版本的mysql jar包，拷贝到/usr/local/hive/lib目录下 ls 在mysql新建hive数据库 show databases; 配置mysql 阅读全文

摘要： WordCount程序任务： 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数）， 并按照单词字母顺序排序， 每个单词和其频数占一行，单词和频数之间有间隔 1.用你最熟悉的编程环境，编写非分布式的词频统计程序。 读文件 分词（text.split列表 阅读全文

摘要： 1.理解HBase表模型及四维坐标：行键、列族、列限定符和时间戳。 2.启动HDFS，启动HBase，进入HBaseShell命令行。 3.列出HBase中所有的表信息list 4.创建表create 5.查看表详情desc 6.插入数据put 7.查看表数据scan,get 阅读全文

摘要： 1.实验目的 为后续上机实验做准备，熟悉常用的Linux操作和Hadoop操作。 2.实验平台 操作系统：Linux Hadoop版本：2.7.1 3.实验内容和要求 （一）熟悉常用的Linux操作 请按要求上机实践如下linux基本命令。 cd命令：切换目录 （1）切换到目录 /usr/local 阅读全文

摘要： 1.为什么产生大数据技术？ 随着科技的发展和人类的需求，为追求更方便快捷的生活，大数据的影响已经越来越大，大数据孕育着信息通信技术，对社会、经济、生活产生的影响且不限于技术层面，本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析，而不是像过去更多凭借经验和直觉。 1）大数据 阅读全文