亲爱的不二999

摘要： 1，查看虚拟机的网段 在编辑->虚拟网络编辑器->NAT设置->网关 IP 可以查看到虚拟机的网关 如图 2，图形化设置： 图中 Netmask设置的是255.255.255.0 gateway和上面虚拟机中的网关IP一样 Address和可以在网段范围内任意设置 设置完成后ifconfig后发现I 阅读全文

摘要： 1，one source two channel 创建conf文件，内容如下： 2，启动HDFS 3，启动flume 4, 报错1： 问题原因：缺少依赖包，这个依赖包是以下jar文件 解决办法： 报错2： 问题原因：缺少依赖包 解决办法： 报错3： 问题原因：缺少依赖包 解决办法： 报错4： 问题原 阅读全文

摘要： 1，上传jar包 2，解压 3，改名 4，更改配置文件 将template文件重镜像 在flume-env.sh文件中更改JAVA_HOME地址： 检查Flume是否安装成功 成功 4， 使用 flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统 阅读全文

摘要： kafka介绍： Kafka[1是一种高吞吐量[2] 的分布式发布订阅消息系统，有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量[2] ：即使是非常普通的硬件Kafka也可以支持每秒数百万[2] 的消息。 支持通过Ka 阅读全文

摘要： Shuffle描述着数据从map task输出到reduce task输入的这段过程。 如map 端的细节图，Shuffle在reduce端的过程也能用图上标明的三点来概括。当前reduce copy数据的前提是它要从JobTracker获得有哪些map task已执行结束，这段过程不表，有兴趣的朋 阅读全文

摘要： 1，深复制与浅复制 浅复制：被复制对象的所有变量都含有与原来的对象相同的值，而所有的对其他对象的引用仍然指向原来的对象。换言之，浅复制仅仅复制所考虑的对象，而不复制它所引用的对象。 深复制：被复制对象的所有变量都含有与原来的对象相同的值，除去那些引用其他对象的变量。那些引用其他对象的变量将指向被复制 阅读全文

摘要： 1，计数器： 显示的计数器中分为四个组，分别为：File Output Format Counters、FileSystemCounters、File Input Format Counters和Map-Reduce Framkework。 分组File Input Format Counters包 阅读全文

摘要： 1，Mapper方法：如果在map方法之前执行一些程序用setup，之后用cleanup.同理在Reducer方法中也有setup和cleanup。 2，map任务是并行执行，没有谁先谁后，如果是两个job，则只能覆盖setup方法。 3，有几个block就有几个map任务。 4，当block的大小 阅读全文

摘要： 1，代码 2，ArrayWritable的API org.apache.hadoop.ioClass ArrayWritable java.lang.Object org.apache.hadoop.io.ArrayWritable 已实现的接口：Writable public class Arra 阅读全文

摘要： 1，实例方法和类方法的区别 所有在定义类方法和实例方法是有以下规则需要遵循： -- 在类方法中不能引用实例变量 实例变量的定义类似实例方法，没有用static修饰的变量，实例变量的创建与实例方法的创建相同，也是在类的对象创建时完成，所以在类方法中是不能引用实例变量的，因为这个时候实例变量还没有分配内 阅读全文