摘要: 一.安装Hive 下载解压重命名权限 2.配置环境变量 3.修改Hive配置文件 4.配置mysql驱动 下载合适版本的mysql jar包,拷贝到/usr/local/hive/lib目录下 2.在mysql新建hive数据库 3.配置mysql允许hive接入 5.启停 启动Hadoop--启动 阅读全文
posted @ 2021-12-10 08:20 何悦 阅读(30) 评论(0) 推荐(0)
摘要: WordCount程序任务: 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数), 并按照单词字母顺序排序, 每个单词和其频数占一行,单词和频数之间有间隔 1.用你最熟悉的编程环境,编写非分布式的词频统计程序。 读文件 分词(text.split列表 阅读全文
posted @ 2021-11-26 08:19 何悦 阅读(23) 评论(0) 推荐(0)
摘要: 1.理解HBase表模型及四维坐标:行键、列族、列限定符和时间戳。 表:HBase采用表来组织数据,表由行和列组成,列划分为若干个列族。行:每个HBase表都由若干行组成,每个行由行键(row key)来标识。列族:一个HBase表被分组成许多“列族”(Column Family)的集合,它是基本的 阅读全文
posted @ 2021-11-05 09:39 何悦 阅读(34) 评论(0) 推荐(0)
摘要: 1.下载压缩文件 2.解压 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 7.启动HDFS,启动Hbase 8.进入shell界面 9.停止Hbase,停止HDFS运行 阅读全文
posted @ 2021-11-05 09:37 何悦 阅读(19) 评论(0) 推荐(0)
摘要: 一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api,向HDFS写一个文件 三、从HDFS读取一个文件的内容 阅读全文
posted @ 2021-11-01 17:17 何悦 阅读(27) 评论(0) 推荐(0)
摘要: 1.用图与自己的话,简要描述Hadoop起源与发展阶段。 Hadoop是道格·卡丁(Doug Cutting)创建的,Hadoop起源于开源网络搜索引擎Apache Nutch,后者本身也是Lucene项目的一部分。Nutch项目面世后,面对数据量巨大的网页显示出了架构的灵活性不够。当时正好借鉴了谷 阅读全文
posted @ 2021-10-22 09:37 何悦 阅读(91) 评论(0) 推荐(0)
摘要: 《大数据应用技术》实验1 第二章 熟悉常用的Linux操作和Hadoop操作 1.实验目的 为后续上机实验做准备,熟悉常用的Linux操作和Hadoop操作。 2.实验平台 操作系统:Linux Hadoop版本:2.7.1 3.实验内容和要求 (一)熟悉常用的Linux操作 请按要求上机实践如下l 阅读全文
posted @ 2021-09-27 21:58 何悦 阅读(57) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2021-09-23 20:10 何悦 阅读(14) 评论(0) 推荐(0)
摘要: 1.为什么产生大数据技术?答:因为如今信息技术高速发展,因此产生了庞大的信息数据,因此产生了大数据技术。2.为什么要学习大数据技术?答:因为现在很多技术都需要用到大数据技术,例如警察利用大数据技术抓捕罪犯等,还有其他很多方面都用得大数据技术,学习大数据技术可以让我们很轻易解决一些难题。 3.简述大数 阅读全文
posted @ 2021-09-08 23:09 何悦 阅读(41) 评论(0) 推荐(0)