摘要: 一.安装Hive 下载解压重命名权限 配置环境变量 $HIVE_HOME 修改Hive配置文件 gedit 配置mysql驱动 下载合适版本的mysql jar包,拷贝到/usr/local/hive/lib目录下 ls 在mysql新建hive数据库 show databases; 配置mysql 阅读全文
posted @ 2021-12-10 08:25 lnln123 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 一.用你最熟悉的编程环境,编写非分布式的词频统计程序。 1.python代码 2.txt 3.结果 二.mapper and reduce 1. 2. 三.hadoop 阅读全文
posted @ 2021-11-26 14:00 lnln123 阅读(49) 评论(0) 推荐(0) 编辑
摘要: 1.理解HBase表模型及四维坐标:行键、列族、列限定符和时间戳。 数据模型概述:HBase是一个稀疏、多维度、排序的映射表,这张表的索引是行键、列族、列限定符和时间戳。每个值是一个未经解释的字符串,没有数据类型。用户在表中存储数据,每一行都有一个可排序的行键和任意多的列。表在水平方向由一个或者多个 阅读全文
posted @ 2021-11-05 09:07 lnln123 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 1.解压 2.修改文件夹名 3.修改文件夹权限 4.配置环境变量 5.伪分布式配置文件 6.启动HDFS,启动Hbase 7.进入shell界面 停止HBase运行 停止hbase 停止hadoop 阅读全文
posted @ 2021-11-02 09:24 lnln123 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api,向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 阅读全文
posted @ 2021-11-01 11:21 lnln123 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 1.hadoop是什么 是什么呢?就是一个棕黄色玩具大象的名字。这是真的!hadoop的作者Doug Cutting说的,这是他儿子的玩具的名字。(是不是太随意了,想想国人取名字的场景。。。)我们回到正轨,hadoop是世界上最大的富豪Apache捐助的分布式系统基础架构。该框架由java语言设计实 阅读全文
posted @ 2021-10-26 09:14 lnln123 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 1.实验目的 • 为后续上机实验做准备,熟悉常用的Linux操作和Hadoop操作。 2.实验平台 操作系统:Linux Hadoop版本:2.7.1 3.实验内容和要求 (一)熟悉常用的Linux操作 请按要求上机实践如下linux基本命令。 cd命令:切换目录 (1) 切换到目录 /usr/lo 阅读全文
posted @ 2021-09-24 09:13 lnln123 阅读(553) 评论(0) 推荐(1) 编辑
摘要: ## mysql ## hadoop ### ssh ### 单机 ### 伪分布式 阅读全文
posted @ 2021-09-17 10:07 lnln123 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 1.为什么产生大数据技术? 随着互联网时代的发展以及人们生活方方面面的交流需求,每天的信息和数据产量膨胀式增长,以往的技术已不能满足当下发展的要求。但是这些数据之间,有着我们所不知道的关联,这时候我们就需要大数据技术来对大数据进行计算、处理、分析。 2.为什么要学习大数据技术? 随着互联网技术和云技 阅读全文
posted @ 2021-09-07 10:20 lnln123 阅读(43) 评论(0) 推荐(0) 编辑