文章分类 -  基础环境

摘要:Flume与Kafka在功能上具有很多的相似性。为了更好地适应生产系统地需要,可以从以下几点对两者进行考虑与比较: Kafka是一个更加通用的系统。用户可以构造不同的生产者与消费者共享不同的主题;相反,Flume主要是用于向Hadoop与HBase导入数据,因此它对HDFS/HBase具有更好的优化 阅读全文
posted @ 2017-11-08 17:15 daviddu 阅读(731) 评论(0) 推荐(0)
摘要:1. Hadoop介绍 Hadoop是一个能够对海量数据进行分布式处理的系统架构。 Hadoop框架的核心是:HDFS和MapReduce。 HDFS分布式文件系统为海量的数据提供了存储, MapReduce分布式处理框架为海量的数据提供了计算。 2. Hadoop安装 2.1 安装java Had 阅读全文
posted @ 2017-11-06 10:38 daviddu 阅读(2815) 评论(0) 推荐(0)
摘要:关闭防火墙 如是在虚拟机或是docker里安装,请一定先关闭防火墙,否则外部系统无法访问. vim /etc/hosts 如果没有足够的权限,可以切换用户为root。 三台机器的内容统一增加以下host配置: 可以通过hostname来修改服务器名称为master、slave1、slave2 ,此步 阅读全文
posted @ 2017-11-06 09:59 daviddu 阅读(175) 评论(0) 推荐(0)
摘要:VirtualBox安装后会在Windows 7分配一个网卡——虚拟网卡而已,在控制面板\网络和 Internet\网络连接中可以看到 VirtualBox Host-Only Network,这个网卡的IP一般是: 以太网适配器VirtualBox Host-Only Network:连接特定的D 阅读全文
posted @ 2017-11-02 17:20 daviddu 阅读(627) 评论(0) 推荐(1)
摘要:之前发了一篇“实战WIN10+UEFI引导装系统(不重装不格盘100%成功)”的文章,今天在朋友那制作时候,发现漏了一步(重建引导部分,之前有人卡WINDOWS标徽那,估计就是引导指向错误了!),晕……现在重新发布一次!这次肯定没问题了! 一般想要用UEFI,必须将BIOS+MBR格式转UEFI+G 阅读全文
posted @ 2017-10-14 19:18 daviddu 阅读(330) 评论(0) 推荐(0)
摘要:1、退出IDEA,下载破解jar包存到某个地方,每次启动都会用到此jar包不能删除 2、在应用程序里找到 IntelliJ IDEA,显示包内容,依次找到idea.vmoptions文件,用文本编辑器打开 1.jpeg 1.jpeg 3、在最后一行加上下面一句,保存退出 -javaagent:/Ap 阅读全文
posted @ 2017-10-14 19:18 daviddu 阅读(229) 评论(0) 推荐(0)