摘要: 算法思想:分而治之+Hash 1、IP地址最多有2^32=4G种取值情况,所以不能完全加载到内存中处理; 2、可以考虑采用分而治之的思想,按照IP地址的Hash(IP) % 1024的值,把海量IP日志分别存储到1024个小文件中,这样,每个小文件最多包含4MB个IP地址; 这样的话,通过计算IP的 阅读全文
posted @ 2019-01-09 17:57 黄增松 阅读(840) 评论(2) 推荐(1) 编辑