摘要：设计思路入下： 以爬取豆瓣图书为例： 1.分两个数据库，第一个用于只用于存放抓取下来的所有图书 url (ulr_list)；第二个则储存当前所爬到的url (url_now)； 2.在抓取过程中在第二个数据库写入已爬过的页面的所有url； 3.若抓取中断，则第二个库中的 url应为第一个库的子集； 阅读全文

摘要：要实现多进程爬虫的数据抓取，要用到库multiprocessing并导入Pool: 接着导入进程池 所有的程序会被放到进程池Pool()中并分配CPU。 此处用到了map函数，map函数会根据提供的函数对指定序列做映射。第一个参数 function 以参数序列中的每一个元素调用 function 函 阅读全文