xiaojiayu0011

摘要： 1.java的反射机制可让我们在编译期之外的运行期检查类，接口，变量以及方法的信息，还可在运行期实例化对象， 调用方法，通过get/set获取变量的值2.反射时需要先获取类的Class对象，可反射所有类型包括基本类型(int等)，即使是数组与之关联的Class对象 Class c=Class.forName("类的全名")，找不到类就会抛出ClassNotFoundException ... 阅读全文

摘要： 1.zookeeper是一个分布式协调的服务框架，基于ZAB(原子广播协议,分布式锁),，主从选举（paxos）的实现，总节点数一般为奇数个(一般3-5个)2.特点： a.顺序一致性：客户端发起的事务请求(zk会分配一个全局的递增编号)，最终将严格按照其发起的顺序被应用到zookeeper中 b.原子性：所有事务请求的处理结果在整个集群中所有机器上的应用情况是一致的，即全执行或者全不执行 ... 阅读全文

摘要： 1.分布式全文检索(非实时同步db)：站内搜索，使用传统的数据库查询方式无法满足一些高级的搜索需求(如搜索速度快， 搜索结果按相关度排序，搜索内容格式不固定) a.单独使用lucene实现站内搜索：开发工作量大,表现在：索引维护、索引性能优化、 搜索性能优化等，不建议采用 b.通过第三方搜索引擎，对其依赖紧密，不方便扩展,不建议 c.基于solr(基于lucene)实现... 阅读全文

摘要： # A fatal error has been detected by the Java Runtime Environment:## EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x0000000001cb4465, pid=11312, tid=3460## JRE version: 6.0_43-b01# Java VM: Java Hot... 阅读全文

摘要： 1.并发和并行区别(引自stackoverflow回答) 并发是两个任务可以在重叠的时间段内启动，运行和完成。并行是任务在同一时间运行，例如，在多核处理器上。 并发是独立执行过程的组合，而并行是同时执行（可能相关的）计算。 并发是一次处理很多事情，并行是同时做很多事情。 应用程序可以是并发的，但不是并行的，这意味着它可以同时处理多个任务，但是没有两个任务在同一时刻执行。 应用程序... 阅读全文

摘要： 书:java编程思想 java并发编程实战 EA(企业应用架构模式)1.多线程设计模式：Future模式（netty）、Master-Worker模式（Storm）、生产者-消费者(mq)2.线程安全：当多个线程访问一个类(对象或方法)，此类始终能表现出正确的行为 多个线程多个锁：多个线程，每个线程都可拿到自己制定的锁，分别获得锁之后，执行synchronized方法体的内容 ... 阅读全文

摘要： 1.启动datanode出现异常:清理掉旧的dfs目录(cd /var/lzx/hadoop/)和log(cd /root/hadoopEnv/hadoop-2.6.5/logs/)，重新格式化，再启动就可以了1.eclipse连接hadoop服务端的出现空指针 http://blog.csdn.net/lglglgl/article/details/51534925null 阅读全文

摘要： 1.MapReduce: MapTask & ReduceTask 默认大小1G 原语/语义:相同的key为一组，调用一次reduce方法,在reduce方法内迭代这一组数据进行计算 注意key的设计，reduce的合理使用 MapTask: key可重复(非hashMap)，一个分区对应一个reduceTask，分区数决定并行数 ReduceTask:取相同key的值，2.Sh... 阅读全文

摘要： 1.ssl ：http://hw1287789687.iteye.com/blog/1965703 2.protobuf:编译命令java protobuf操作：http://shift-alt-ctrl.iteye.com/blog/22108853. netty(rocketmq闭源了)：直接下载jar即可 传输protobuf:http://blog.csdn.net/linsongbi... 阅读全文

摘要： 1.采用hash散列算法读写文件2.计算向数据移动3.Hadoop：Google 作者:Doug Cutting OpenStack：NASA 云计算(集合基础设施、平台、软件)4.PageRank：计算5.HDFS:分布式计算文件6.hdfs存储模型: a.文件线性切割成块(Block)：偏移量 offset（byte） b.Block要分散存储在集群节点中 c.单一文件Blo... 阅读全文