摘要：
一.安装Hive 下载解压重命名权限 2.配置环境变量 $HIVE_HOME 3.修改Hive配置文件 gedit 4.配置mysql驱动 1.下载合适版本的mysql jar包，拷贝到/usr/local/hive/lib目录下 ls 2.在mysql新建hive数据库 show database 阅读全文
posted @ 2021-12-17 12:45
孙桂文
阅读(42)
评论(0)
推荐(0)
摘要：
WordCount程序任务： 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数）， 并按照单词字母顺序排序， 每个单词和其频数占一行，单词和频数之间有间隔 1.用你最熟悉的编程环境，编写非分布式的词频统计程序。 import cProfile imp 阅读全文
posted @ 2021-11-29 23:50
孙桂文
阅读(21)
评论(0)
推荐(0)
摘要：
1. 用图与自己的话，简要描述Hadoop起源与发展阶段。 Hadoop起源：Hadoop是道格·卡丁（Doug Cutting）创建的，Hadoop起源于开源网络搜索引擎Apache Nutch，后者本身也是Lucene项目的一部分。Nutch项目面世后，面对数据量巨大的网页显示出了架构的灵活性不 阅读全文
posted @ 2021-11-17 11:59
孙桂文
阅读(64)
评论(0)
推荐(0)
摘要：
1.理解HBase表模型及四维坐标：行键、列族、列限定符和时间戳。 表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族。行：每个HBase表都由若干行组成，每个行由行键（row key）来标识。列族：一个HBase表被分组成许多“列族”（Column Family）的集合，它是基本的 阅读全文
posted @ 2021-11-11 22:23
孙桂文
阅读(24)
评论(0)
推荐(0)
摘要：
1.下载压缩文件 2.解压 sudo tar –zxvf ~/hbase-2.2.4.tar.gz –C /usr/local 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 7.启动HDFS，启动Hbase 8.进入shell界面 9.停止Hbase，停止HDFS运行 阅读全文
posted @ 2021-11-11 22:22
孙桂文
阅读(12)
评论(0)
推荐(0)
摘要：
1.用图与自己的话，简要描述Hadoop起源与发展阶段。Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 问题的可解决提供方案 阅读全文
posted @ 2021-10-31 20:26
孙桂文
阅读(57)
评论(0)
推荐(0)
摘要：
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容 阅读全文
posted @ 2021-10-31 20:24
孙桂文
阅读(30)
评论(0)
推荐(0)
摘要：
第三次大数据作业 03 Linux与Hadoop操作实验 （一）熟悉常用的Linux操作 请按要求上机实践如下linux基本命令。 cd命令：切换目录 （1）切换到目录 /usr/local （2）去到目前的上层目录 （3）回到自己的主文件夹 ls命令：查看文件与目录 （4）查看目录/usr下所有的 阅读全文
posted @ 2021-09-26 23:02
孙桂文
阅读(63)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2021-09-26 22:46
孙桂文
阅读(17)
评论(0)
推荐(0)
摘要：
1,为什么产生大数据技术 答：首先，大数据是指利用常规的软件捕获，处理和管理大数据的时间超过可容忍时间的数据集。 其次，随着当前信息技术的发展，为大数据存储和流动提供了物质基础。 最后，大数据拥有着价值密度低，种类繁多的特点，大数据也逐渐成为"新石油"。 由此可见，大数据技术的产生是不可避免的，是时 阅读全文
posted @ 2021-09-09 22:05
孙桂文
阅读(76)
评论(0)
推荐(0)
浙公网安备 33010602011771号