摘要: 问题描述:有几个压缩好的大日志文件,压缩后,2,3G,解压后估计有5,6G需要将这些日志解析出来,存储到分布树数据库中去。看了下线上的机器,虽然每个机器的绝对内存都可以将这些数据读入进去,但是正常可用内存却只有几个G而且还要被其他程序占用,解析代码用JAVA来写,运行JAVA代码的时候可以指定使用的内存XMS,XMX。解决方法: 由于日志信息允许有一定的丢失,所以可以采用将文件切割的办法,将大文件切割为一个个的小文件,然后JAVA代码在将这些小文件读进去处理。这样以来运行时占用的内存就可以控制在一定范围内。日志切割采用SHELL脚本下面的:split -b 100m $openFile 将日志 阅读全文
posted @ 2013-10-07 18:33 cstar(小乐) 阅读(264) 评论(0) 推荐(0) 编辑
摘要: 百度的一道笔试题目,看到博客园讨论挺热烈的,也写一下玩玩。实现思想:举个简单的例子11233,从高位到低位开始判断是否有重复数,高位有重复数后,首先修改高位的,高位修改后变为12233,因为要求最小的不重复数,这时实际上要求的是12000这个数的最小不重复数了。在举个例子98989899,它的变化系列可是是这样:9898990098990000990000001000000001010000001010100001010101001010101011、给定任意一个正整数,求比这个数大且最小的“不重复数”,“不重复数”的含义是相邻两位不相同,例如1101是重复数,而1201是不重复数。 1 #i 阅读全文
posted @ 2013-10-07 16:36 cstar(小乐) 阅读(581) 评论(0) 推荐(0) 编辑