摘要： 实验目的 复习配置hadoop初始化环境 复习配置hdfs的配置文件 学会配置hadoop的配置文件 了解yarn的原理 实验原理 1.yarn是什么 前面安装好了hdfs文件系统，我们可以根据需求进行数据的读写操作。hdfs解决了大数据的存储，接下来的问题就是根据实际的业务需求进行计算。目前大数据 阅读全文

摘要： 实验目的 通过实验了解tf-idf算法原理 通过实验了解mapreduce的更多组件 学会自定义分区，读写缓存文件 了解mapreduce程序的设计方法 实验原理 1.TF-IDF简介 TF-IDF(term frequency–inverse document frequency)是一种用于资讯检 阅读全文

摘要： 实验目的 了解hive的原理和安装方式 学习使用MySQL数据库 使用hive进行基本操作 实验原理 1.Hive Hive是一个数据仓库技术，包括解释器、编译器、优化器，一次将一个sql语句装化为mapreduce代码，然后对代码进行编译，最后优化执行。实质是一个客户端程序，类似jsp和servl 阅读全文

摘要： 实验目的 复习安装jdk 学习免密码登录 掌握安装配置hdfs集群的方法 掌握hdfs集群的简单使用和检查其工作状态 实验原理 1.hdfs是什么 hadoop安装的第一部分是安装hdfs，hdfs是一个磁盘文件系统，提供的功能类似于本地文件系统一样，可以通过命令进行增删改查文件，不同的是，hdfs 阅读全文

摘要： 实验目的 了解java的安装配置 学习配置对自己节点的免密码登陆 了解hdfs的配置和相关命令 了解yarn的配置 实验原理 1.Hadoop安装 Hadoop的安装对一个初学者来说是一个很头疼的事情，要一步安装好整个hadoop集群难度特别大，所以一个快捷的学习方法是边安装边学习，安装的时候，先搭 阅读全文

摘要： 实验目的 了解zookeeper的概念和原理 学会安装zookeeper集群并验证 掌握zookeeper命令使用 实验原理 1.Zookeeper介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服 阅读全文

摘要： 实验目的 了解Hadoop的概念和原理 学习HDFS架构原理 熟悉mapreduce框架 熟悉mapred和yarn命令 实验原理 1.hadoop和hadoop生态系统 hadoop的思想来源是Google，Google曾经面对一个问题，大量的网页怎么存储，怎么快速搜索的问题，于是三篇论文诞生了G 阅读全文

摘要： 实验目的 学习安装Java 学习配置环境变量 学习设置免密码登陆的方法 掌握Linux环境下时间同步的配置 实验原理 1.Java的安装 java是大数据的黄金语言，这和java跨平台的特性是密不可分的，大数据的大部分框架，包括hadoop、hbase、tachyon等，都是用java实现，而spa 阅读全文

摘要： 实验目的 了解yum的原理及配置 学习软件的更新与安装 学习源代码编译安装 实验原理 1.编译安装 前面我们讲到了安装软件的方式，因为linux是开放源码的，我们可以直接获得源码，自己编译安装。例如：新建一个hello.c的文件，在里面添加一下内容： #include <stdio.h> int m 阅读全文

摘要： 实验目的 学习使用xshell工具连接Linux服务器 在连上的服务器中进入用户目录 熟悉简单的文件操作命令 实验原理 熟悉shell命令是熟悉使用linux环境进行开发的第一步，我们在linux的交互式命令行输入的每一个命令都是一个shell指令，Shell本质是一个用C语言编写的程序，它是用户使 阅读全文