摘要： 一.安装Hive 下载解压重命名权限 配置环境变量 $HIVE_HOME 修改Hive配置文件 gedit 配置mysql驱动 （1）下载合适版本的mysql jar包，拷贝到/usr/local/hive/lib目录下 ls （2）在mysql新建hive数据库 show databases; （ 阅读全文

摘要： WordCount程序任务： 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数）， 并按照单词字母顺序排序， 每个单词和其频数占一行，单词和频数之间有间隔 1.用你最熟悉的编程环境，编写非分布式的词频统计程序。 读文件 分词（text.split列表 阅读全文

摘要： 1.理解HBase表模型及四维坐标：行键、列族、列限定符和时间戳。 2.启动HDFS，启动HBase，进入HBaseShell命令行。 3.列出HBase中所有的表信息list 4.创建表create 5.查看表详情desc 6.插入数据put 7.查看表数据scan 尝试分别用MySQL和HBas 阅读全文

摘要： 1.下载压缩文件 使用FileZilla上传文件 2.解压 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 7.启动HDFS，启动Hbase 8.进入shell界面 9.停止Hbase，停止HDFS运行 阅读全文

摘要： 一、在Ubuntu系统中安装和配置Eclipse 通过FlieZilla传输eclipse安装包 解压安装包 启动eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 创建java project 创建java class 启动hdfs 运行writeflie.java， 阅读全文

摘要： 1.用图与自己的话，简要描述Hadoop起源与发展阶段。 Hadoop起源：Hadoop是道格·卡丁（Doug Cutting）创建的，Hadoop起源于开源网络搜索引擎Apache Nutch，后者本身也是Lucene项目的一部分。Nutch项目面世后，面对数据量巨大的网页显示出了架构的灵活性不够 阅读全文

摘要： (一）基本操作 cd命令：切换目录（1）切换到目录 /usr/local cd /usr cd /local （2）去到目前的上层目录 cd .. （3）回到自己的主文件夹 ls命令：查看文件与目录 （4）查看目录/usr下所有的文件 cd /usr ls -al ~ mkdir命令：新建新目录（5 阅读全文

摘要： 阅读全文

摘要： 5.大数据可能带来什么样的问题？如何应对这些隐患？ 一、所带来的问题：(1)分布式系统大数据解决方案将数据和操作分布在许多系统中，以实现更快的处理和分析。这种分布式系统可以平衡负载，避免单点故障。但是这样的系统容易受到安全威胁，黑客只要攻击一个点就可以渗透整个网络。(2)数据存取大数据系统需要访问控 阅读全文

摘要： 3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。 首先，大数据是物联网和云计算发展到一定阶段的必然结果，物联网为大数据提供了大部分的数据来源，而云计算则为大数据提供了支撑平台。大数据又是人工智能的重要基础，人工智能需要通过大数据完成学习和决策的过程。从整个智能系统的体系结构来看，物 阅读全文