XIAO的博客

摘要： 转载地址：http://www.cnblogs.com/lxf20061900/p/3658172.html 有的时候希望通过Flume将读取的文件再细分存储，比如讲source的数据按照业务类型分开存储，具体一点比如类似：将source中web、wap、media等的内容分开存储；比如丢弃或修改一 阅读全文

摘要： Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心 阅读全文

摘要： 1.概述本手册主要介绍了，一个将传统数据接入到Hadoop集群的数据接入方案和实施方法。供数据接入和集群运维人员参考。1.1.整体方案Flume作为日志收集工具，监控一个文件目录或者一个文件，当有新数据加入时，收集新数据发送给Kafka。Kafka用来做数据缓存和消息订阅。Kafka里面的消息可以定... 阅读全文

摘要： python编程解析如下smart结构数据，得到一行smart信息run: smartctl -a /dev/sdaout: smartctl 6.3 2014-07-26 r3976 [x86_64-linux-2.6.18-164.el5] (local build)out: Copyright... 阅读全文

摘要： 分类结果： //smartTestSetWithSerNO_last24h 健康样本数/健康判为故障样本数：583670/978 健康磁盘数/健康判为故障磁盘数：4150/12 健康样本预测率为：0.9983243956345195 健康盘预测率为：0.9971084337349397 故障样本数/ 阅读全文

摘要： ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对，下面我以CentOS为例。有机器A(192.168.1.155)，B(192.168.1.181)。现想A通过ssh免密码登录到B。1.在A机下生成公钥/私钥对。[chenlb@A~]$ssh-keyge... 阅读全文

摘要： 有些应用中可能希望先在driver上运行一段java单机程序，然后再初始化SparkContext用集群模式操作java程序返回值。从而避免过早建立SparkContext对象分配集群资源，使资源长时间空闲。 这里涉及到两个yarn参数： Yarn会周期性遍历所有的ApplicationMaster 阅读全文

摘要： import java.util.Arrays;public class test2 { public static void main(String[] args) { int winSize = 3; int moveStep = 2; int total = 9; System.o... 阅读全文

摘要： import java.util.Scanner; /** * 循环列表的Java实现，解决约瑟夫环问题 * * @author LIU * */ public class LinkedList { // 定义结点，必须是static static class Node { int data; Node next; Node(int arg1) { this... 阅读全文

摘要： import java.util.Iterator; import java.util.LinkedList; import java.util.List; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.a... 阅读全文