摘要：SSH免密登录的原理就是在本地A生成一对密钥，其中一个公钥一个私钥，此时在当前用户的~/.ssh/下（如果没有.ssh文件夹可以自行创建）会生成两个文件,id_rsa就是你的私钥,而id_ras.pub则是你的公钥, 将公钥拷贝到需要登录的机器B上，B会返回一组随机数，然后本地A用私钥对其进行加密， 阅读全文

摘要：部署环境及软件： VMware Workstation 10 CentOS 7 Hadoop 2.5 环境部署 1、准备虚拟机 可先建立一台虚拟机， 需要安装jdk，准备好haddop软件包， 然后通过VMware克隆获得相同配置虚拟机。 2、主机名、IP地址等设置 三台机器： 配置映射： /etc 阅读全文

摘要：YARN简介： Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨 阅读全文

摘要：离线计算框架 MapReduce 思想：分而治之（将大数据集分为小的数据集） 思想：分而治之（将大数据集分为小的数据集） 将计算过程分为两个阶段，Map和Reduce Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总 Shuffle连接Map和Reduce两个阶段 Map Task将 阅读全文

摘要：Hadoop是什么？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 用户可以在不了解分布式底层细节的情况下，开发分 阅读全文