摘要:
趁着国庆节有时间,帮人写了个爬取淘女郎模特动态加载的图片的爬虫,还有爬取模特们的个人信息数据,这个爬虫花了3天时间,因为图片是异步加载的所以爬取的复杂度有点大,最终我通过研究URL的变化,构造新的URL来进行持续性爬取,不过爬取速度真心慢(查看了cpu的利用率还有很多没有利用到),我准备把多线程加进去说实话不太好加,有点头大, 1 # -*- coding: utf-8 -*- 2 im... 阅读全文
posted @ 2017-10-03 17:52
双鱼男-huangsh
阅读(1369)
评论(0)
推荐(0)

浙公网安备 33010602011771号