摘要： 1，将所有访问过的url保存在数据库中 2，将访问过的url保存在内存中，只需要o(1)代价就可以查询url 1000000000*2byte*50个字符/1024/1024/1024≈9G 3，url经过md5等方法哈希后保存到内存中 （scrapy用的方法） 4，用bitmap方法，将访问过的u 阅读全文