03 2015 档案

Linux 登陆认证
摘要：PAM: pluggable authentication modules for linuxhttp://www.linux-pam.org/whatispam.htmlA suite of shared libraries that enable the local system adminis... 阅读全文

posted @ 2015-03-31 17:15 不忘初衷,方能致远 阅读(184) 评论(0) 推荐(0)

数据预处理
摘要：定量属性(数值的)：区间，比率等定性属性(标识的)：标识，序号等聚集：删除数据的属性值（如一个商店的事务代替所有商店的事务）或者合并属性的值（如取值从1-365日合并为取值为1-12月）。 关键是找出聚集事务，一般定性属性采用忽略或者汇总方法，定量属性采用求和或求平均方法抽样：随机抽样(返回抽... 阅读全文

posted @ 2015-03-25 17:11 不忘初衷,方能致远 阅读(180) 评论(0) 推荐(0)

hbase 简介
摘要：http://blog.csdn.net/woshiwanxin102213/article/details/17584043http://www.uml.org.cn/sjjm/201212141.asp 阅读全文

posted @ 2015-03-21 22:57 不忘初衷,方能致远 阅读(131) 评论(0) 推荐(0)

kafka 介绍
摘要：Kafka is a distributed, partitioned, replicated commit log service.Terms:Topic: kafka maintains message in categories called topicsProducer: processes... 阅读全文

posted @ 2015-03-16 19:14 不忘初衷,方能致远 阅读(412) 评论(0) 推荐(0)

zookeeper 选举过程
摘要：synchronized public void startLeaderElection() { try { currentVote = new Vote(myid, getLastLoggedZxid(), getCurrentEpoch()); ... 阅读全文

posted @ 2015-03-15 21:14 不忘初衷,方能致远 阅读(529) 评论(0) 推荐(0)

ZooKeeper 数据持久化---ZKDatabase
摘要：ZKDatabase 主要维持了一个 DataTree的内存数据结构，通过序列化到本地磁盘的快照文件，以及Redo日志文件。核心是DataTree。先看看这棵树的节点： DataNode.javapublic interface Record { //这个接口应该是类似于java里的Serializ... 阅读全文

posted @ 2015-03-12 15:02 不忘初衷,方能致远 阅读(2235) 评论(0) 推荐(0)

zookeeper 源码阅读---框架
摘要：1. 启动类 QuorumPeerMain.java 集群方式：调用runFromConfig(QuorumPeerConfig config) 创建一个QuorumPeer 对象，并初始化设置其相关属性，如ZKDatabase,ServerCnxnFactory成员等。 ... 阅读全文

posted @ 2015-03-11 18:12 不忘初衷,方能致远 阅读(517) 评论(0) 推荐(0)

Flume hdfs sink
摘要：1. 一个callTime 线程池2. 一个roolTime 线程池3. 一个LinkHashTable 维持打开的文件.(BuckerWriter 由hdfsWriter 代表 HDFSDataStream 或者HDFSCompressedDataStream 或者HDFSSequenceFile... 阅读全文

posted @ 2015-03-09 11:20 不忘初衷,方能致远 阅读(191) 评论(0) 推荐(0)

hadoop 集群复习
摘要：http://www.linuxidc.com/Linux/2014-02/97076p6.htmHAhttp://www.21ops.com/front-tech/10744.htmlHadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个Nam... 阅读全文

posted @ 2015-03-05 23:05 不忘初衷,方能致远 阅读(539) 评论(0) 推荐(0)

linux 命令新学习
摘要：ctrl+r, 查找之前输入的终端命令（如果找很久之前的命令，这个很有用。用 向上箭头 只适合找最近的）ctrl+d，替代 exit 退出命令crontab -l > ./tmp #输出所有例程到文件sed -i /abc/d ./tmp #直接在源文件./tmp上修改，删除包含abc的行... 阅读全文

posted @ 2015-03-03 17:45 不忘初衷,方能致远 阅读(114) 评论(0) 推荐(0)

导航