利用transfer_pool进行批量并发下载

摘要： TBOX提供上层高度封装的传输池来进行客户端的并发批量下载、上传、文件复制、socket数据透传等io传输需求。投递到transfer_pool传输池的所有任务都是异步并发处理的。如果对并发量要求不高的话，例如客户端应用，那么使用全局的tb_transfer_pool()就足够了。全局的transf... 阅读全文
posted @ 2014-09-10 10:23 I want to fly 阅读(99) 评论(0) 推荐(0)

利用bloom filter算法处理大规模数据过滤（跨平台）

摘要： Bloom Filter是由Bloom在1970年提出的一种快速查找算法，通过多个hash算法来共同判断某个元素是否在某个集合内。可以用于网络爬虫的url重复过滤、垃圾邮件的过滤等等。它相比hash容器的一个优势就是，不需要存储元素的实际数据到容器中去来一个个的比较是否存在。只需要对应的位段来标记是... 阅读全文
posted @ 2014-09-10 10:22 I want to fly 阅读(189) 评论(0) 推荐(0)