03 2013 档案

摘要:先上说说思路,1, 把一个bigdata文件拆分成N个小文件,小文件容量小于当前机器的内存2,对小文件进行排序处理3,对小文件进行并归排序,代码中我是用1 and 1,一个个并归生成新的排序完成的文件,直到全部并归完成简单说说我这里的并归算法,代码中的sortBySmallFile,如有文件A有n个元素, 文件B有m个元素这里的并归,先取出An0,分别比较Bn0,Bn1.... ,当An0>Bn,把Bn写入新文件,直至An0<Bn 时把An0写入结果文件,循环取出An1OK,上代码package com.ben.file;import java.io.BufferedReader; 阅读全文
posted @ 2013-03-20 12:20 何锦彬 阅读(6283) 评论(4) 推荐(2)
摘要:当线程用synchronize锁的时候,可以保证线程是具有原子性 可见性 有序性的。原子性,表现为每个可以单独操作,不互相依赖,在线程中表现为每个线程都有所以它自己的一份copy值,不定期的刷新到主内存。(如果有锁,ulock时刷新到主内存)而volatile变量不具有原子性,每次读写都是自己去主内存读主内存的值,也真是由于此种原因不能进行计数器操作,例如:volatile i =1;线程A,线程B 同时 i++;i++ 即i=i; //从主内存中读 1i+1; //通过获取的值。计算 2i=i+1; //把计算的值写入主内存中 3当线程执行顺序如下时 A1 – >B1—>A2—& 阅读全文
posted @ 2013-03-12 00:45 何锦彬 阅读(4943) 评论(0) 推荐(1)
摘要:比起其它的优势在于代码少,不依赖任何JAR包, 可以用 SAX生成,这样可以支持大数据XML生成了(现在用标准的DOM) , 用空的可以提交到branch dev 源码地址: https://github.com/bensonHe/DTO2XML 抽空我在弄成JAR包 阅读全文
posted @ 2013-03-07 11:40 何锦彬 阅读(1425) 评论(2) 推荐(0)