摘要：flume 多种适配，多样化的数据收集 核心概念 event：一条消息 client：访问者 agent： 重要组件Sources、Channels、Sinks。Interspactor、Selecter kafka 吞吐量大，高并发场景下使用注意：flume的agent配置文件不允... 阅读全文

摘要：Windows下ANT用到的环境变量主要有2个： ANT_HOME 和 PATH。1.、设置ANT_HOME指向ant的安装目录，如下： ANT_HOME = D:\soft\apache\apache-ant-1.9.42.、设置bin和lib目录到PATH变量中。将%ANT_HOME%\bin... 阅读全文

摘要：MapReduce作业读取文件Map任务数量由InputSplit决定，InputSplit分片大小默认是HDFS块大小（hadoop1.x=64mb，hadoop2.x是128mb）。例如： MapReduce作业读取HDFS上（hadoop2.x）两个文件，一个是200MB，一个是100MB，... 阅读全文