随笔分类 -  Python爬虫

Scrapy爬虫库使用初体验
摘要：安装pip install Scrapy 中间可能会遇到的问题： 超时，网络问题需要多次尝试 缺少vc++库，官网可以下载 缺少vc++库，官网可以下载 win32api缺失，https://sourceforge.net/projects/pywin32/?source=typ_redirect选 阅读全文
posted @ 2017-02-21 15:57 kuqs（奇小东） 阅读(817) 评论(0) 推荐(0)
Selenium+PhantomJS使用初体验
摘要：抓取使用Ajax技术完成的网页内容时可以使用Selenium+PhantomJS技术 1.pip install selenium 2.下载Phantomjs不需要用pip 武汉科技大学首页有一块使用js异步加载的网页内容，如图 抓取这一块内容的思路是：判断这一块是否加载完毕；selenium抓取 阅读全文
posted @ 2017-02-13 20:36 kuqs（奇小东） 阅读(4371) 评论(0) 推荐(0)