11 2017 档案

摘要：Host配置 vim /etc/hosts 如果没有足够的权限，可以切换用户为root。 三台机器的内容统一增加以下host配置： 可以通过hostname来修改服务器名称为master、slave1、slave2 配置SSH无密码登录 设置ssh免密码登录 具体可参照点击 修改vim mapred 阅读全文

摘要：Flume与Kafka在功能上具有很多的相似性。为了更好地适应生产系统地需要，可以从以下几点对两者进行考虑与比较： Kafka是一个更加通用的系统。用户可以构造不同的生产者与消费者共享不同的主题；相反，Flume主要是用于向Hadoop与HBase导入数据，因此它对HDFS/HBase具有更好的优化 阅读全文

摘要：HDFS Hadoop文件分发系统 ( Hadoop Distributed File System (HDFS) )和Hadoop数据库（HBase）是大数据生态系统的关键组成部分。本文将使用两者最常被使用的实例来解释两者的不同。 随着数据量从GB (2的30次方byte) 急速增长到ZB (2的 阅读全文

摘要：1. Hadoop介绍 Hadoop是一个能够对海量数据进行分布式处理的系统架构。 Hadoop框架的核心是：HDFS和MapReduce。 HDFS分布式文件系统为海量的数据提供了存储， MapReduce分布式处理框架为海量的数据提供了计算。 2. Hadoop安装 2.1 安装java Had 阅读全文

摘要：关闭防火墙 如是在虚拟机或是docker里安装,请一定先关闭防火墙,否则外部系统无法访问. vim /etc/hosts 如果没有足够的权限，可以切换用户为root。 三台机器的内容统一增加以下host配置： 可以通过hostname来修改服务器名称为master、slave1、slave2 ,此步 阅读全文

摘要：VirtualBox安装后会在Windows 7分配一个网卡——虚拟网卡而已，在控制面板\网络和 Internet\网络连接中可以看到 VirtualBox Host-Only Network，这个网卡的IP一般是: 以太网适配器VirtualBox Host-Only Network:连接特定的D 阅读全文