摘要： 1、安装Linux操作系统 2、安装关系型数据库MySQL 3、安装大数据处理框架Hadoop，查看IP 阅读全文

摘要： 一.安装Hive 下载解压重命名权限 配置环境变量 $HIVE_HOME 修改Hive配置文件 gedit 配置mysql驱动 下载合适版本的mysql jar包，拷贝到/usr/local/hive/lib目录下 ls 在mysql新建hive数据库 show databases; 配置mysql 阅读全文

摘要： WordCount程序任务： 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数）， 并按照单词字母顺序排序， 每个单词和其频数占一行，单词和频数之间有间隔 1.用你最熟悉的编程环境，编写非分布式的词频统计程序。 读文件 分词（text.split列表 阅读全文

摘要： 1.理解HBase表模型及四维坐标：行键、列族、列限定符和时间戳。 2.启动HDFS，启动HBase，进入HBaseShell命令行。 3.列出HBase中所有的表信息list 4.创建表create 5.查看表详情desc 6.插入数据put 7.查看表数据scan,get 2。 3. 4. 5. 阅读全文

摘要： 1.下载压缩文件 2.解压 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 7.启动HDFS，启动Hbase 8.进入shell界面 9.停止Hbase，停止HDFS运行 阅读全文

摘要： 一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。写入内容含自己的姓名学号信息。 三、从HDFS读取一个文件的内容并显示。 阅读全文

摘要： 一、hadoop起源发展与概述Hadoop是一个对海量数据存储和海量数据分析计算的分布式系统。 从hadoop最初的原型来看，hadoop已经远远超过了本身的批处理。从广义上来说，hadoop现在可以是指更广泛的一个hadoop生态了，而不仅仅是HDFS，MapReduce和Yarn。例如Hive， 阅读全文

摘要： cd命令：切换目录 （1）切换到目录 /usr/local （2）去到目前的上层目录 （3）回到自己的主文件夹 ls命令：查看文件与目录 （4）查看目录/usr下所有的文件 mkdir命令：新建新目录 （5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在 （6）创建目录a1/a2/a3 阅读全文

摘要： 1.为什么产生大数据技术？ ①从字面上看，大数据就是数量巨大的数据，或者称为海量数据。实际上，大数据是一个较为抽象的概念，数量巨大只是其中的一个表面的特性。大数据是网络信息时代的客观存在，其产生的意义并不在于掌握庞大的数据量，而在于对这些数据进行专业存储和处理，并从中挖掘和提取所需要的知识和信息。 阅读全文