摘要: 通过几天的学习与尝试逐渐对python爬虫有了一些小小的心得,我们渐渐发现他们有很多共性,总是要去获取一系列的链接,读取网页代码,获取所需内容然后重复上面的工作,当自己运用的越来越熟练之后我们就会尝试着去总结一下爬虫的共性,试着去写个helper类以避免重复性劳动。 参考:用python爬虫抓站的一 阅读全文
posted @ 2016-01-20 16:58 叁金 阅读(4316) 评论(3) 推荐(4) 编辑
摘要: 我又来送福利啦!!!不同于上篇文章,这次我们的爬虫采用了多线程,一直以来被所谓的分布式 多线程 爬虫 给唬的怕怕的。今天就来一发多线程爬虫吧,还能看妹子图,想想就觉得很激动!!! 依然是流程解释: 1.分析要爬取的网址,发现页面分两级,第一级是多个图片集的入口,第二集是图片的入口。我们新建两... 阅读全文
posted @ 2016-01-20 10:52 叁金 阅读(12068) 评论(5) 推荐(3) 编辑