摘要: 一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api,向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 阅读全文
posted @ 2021-12-24 00:35 天珍 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 一.安装Hive 解压到虚拟机准备下载 更改文件名 修改文件权限 配置环境变量 二、Hive操作 创建查看数据表 删除表: 三、hive进行词频统计 1.准备txt文件 2.启动hadoop,启动hive 3.创建并查看文本表 create table 4.导入文件的数据到文本表中 load dat 阅读全文
posted @ 2021-12-24 00:33 天珍 阅读(48) 评论(0) 推荐(0) 编辑
摘要: 1.用你最熟悉的编程环境,编写非分布式的词频统计程序。 2.用MapReduce实现词频统计 2.1编写Map函数 2.2编写Reduce函数 2.3分布式运行自带词频统计示例 2.4 分布式运行自写的词频统计 查看hadoop-streaming的jar文件位置:/usr/local/hadoop 阅读全文
posted @ 2021-11-30 14:11 天珍 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 1.下载压缩文件 2.解压 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 7.启动HDFS,启动Hbase 8.进入shell界面 9.停止Hbase,停止HDFS运行 阅读全文
posted @ 2021-11-12 20:54 天珍 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 1.理解HBase表模型及四维坐标:行键、列族、列限定符和时间戳。 2.启动HDFS,启动HBase,进入HBaseShell命令行。 3.列出HBase中所有的表信息list 4.创建表create 5.查看表详情desc 6.插入数据put 7.查看表数据scan 8.多版本实验:修改列族版本数 阅读全文
posted @ 2021-11-12 20:54 天珍 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 1.用图与自己的话,简要描述Hadoop起源与发展阶段。 Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、200 阅读全文
posted @ 2021-10-29 21:12 天珍 阅读(60) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2021-09-29 20:25 天珍 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 1-8 9-10 11 12-13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30-33 阅读全文
posted @ 2021-09-27 21:59 天珍 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 1.为什么产生大数据技术? 大数据就是一个大型的数据仓库,一般有一个能支持业务决策的业务重点。如果是链接到客户的所有记录呢?将这么多不同的数据源互相映射,一般的数据库还做不到。另外,需要链接的数据量是非常巨大的。这就产生了大数据概念。 2.为什么要学习大数据技术? ①.国家对大数据发展的大力支持。② 阅读全文
posted @ 2021-09-10 16:15 天珍 阅读(34) 评论(0) 推荐(0) 编辑