2015年1月8日

使用hash方法切割文件
摘要： 如果有大型数据文件（如每行为url或者ip或者单词等的），以G为单位的，处理的时候需先切分。普通切分方法直接根据数据条数切分，得到的每个文件大小相近。 但是有时需要将相同数据放到相同文件中。可以使用hash切分法。 public class Test { static int HASHLEN... 阅读全文
posted @ 2015-01-08 20:24 长456风 阅读(753) 评论(0) 推荐(1)

导航