摘要： 一.安装Hive 1.下载解压重命名权限 2.配置环境变量 $HIVE_HOME 3.修改Hive配置文件 gedit 4、配置mysql驱动 a、下载合适版本的mysql jar包，拷贝到/usr/local/hive/lib目录下 l b、在mysql新建hive数据库 show databas 阅读全文

摘要： 1.用你最熟悉的编程环境，编写非分布式的词频统计程序。 读文件 分词（text.split列表） 按单词统计（字典,key单词，value次数） 排序（list.sort列表） 输出 在Ubuntu中实现运行。 准备txt文件 编写py文件 python3运行py文件分析txt文件。 2.用MapR 阅读全文

摘要： 1.理解HBase表模型及四维坐标：行键、列族、列限定符和时间戳 数据模型相关概念：表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族。行：每个HBase表都由若干行组成，每个行由行键（row key）来标识。列族：一个HBase表被分组成许多“列族”（Column Family）的 阅读全文

摘要： 1.下载压缩文件 下载hbase-1.1.5-bin.tar.gz (和hadood版本要兼容) 放到~目录下 sudo mv hbase-1.1.5-bin.tar.gz ~ 2.解压 3.修改文件夹名 4.修改文件夹权限 将权限分给hadoop用户 查看hbase版本 赋予更高的权限 5.配置环 阅读全文

摘要： 一、在Ubuntu系统中安装和配置IDEA 在官网选择linux版本下载 将压缩包在下载目录下解压 sudo tar -zxvf idea-IE-2021.2.3.tar.gz 再将移到桌面 sudo mv idea-IE-2021.2.3.tar.gz /usr/local/hbase/桌面 二、 阅读全文

摘要： 1.用图与自己的话，简要描述Hadoop起源与发展阶段。Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 问题的可解决提供方案 阅读全文

摘要： 实验内容和要求： 请按要求上机实践如下linux基本命令 cd命令：切换目录 （1）切换到目录 /usr/local （2）去到目前的上层目录 （3）回到自己的主文件夹 ls命令：查看文件与目录 （4）查看目录/usr下所有的文件 mkdir命令：新建新目录 （5）进入/tmp目录，创建一个名为a的 阅读全文

摘要： 1.安装Linux操作系统 2.安装数据库 3.安装大数据处理框架hadoop (1)创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 创建可以登录hadoop的用户 sudo paswd hadoop 将密码设置为hadoop sudo adduser 阅读全文

摘要： 1.为什么产生大数据技术随着云时代的到来，大数据吸引了越来越多的关注。关系型数据在分析时会花费大量的金钱和时间，因此需要产生大数据技术来提高数据处理的效率，促进社会进步。 2.为什么要学习大数据就目前而言，大数据越来越流行了，我们不管在各行各业都能够接触到大数据。我们在这个时代发展需要与时俱进，比如 阅读全文