文章分类 -  爬虫

利用scrapy抓取网站入门
摘要:scrapy爬虫框架入门实例 关于如何安装scrapy框架,可以参考这篇文章 scrapy安装方法 初识scrapy框架,写个简单的例子帮助理解。 强调一下,这里使用的是Python3.6 例子的目标就是抓取慕课网的课程信息 流程分析 抓取内容 例子要抓取这个网页http://www.imooc.c 阅读全文

posted @ 2017-07-25 13:53 小鸟的士林 阅读(182) 评论(0) 推荐(0)

根据标签爬取淘宝平面mm
摘要:通过标签的匹配去爬取特定网站的内容,简单实用,缺点,移植性不高,可以试试哦。 阅读全文

posted @ 2017-07-14 21:01 小鸟的士林 阅读(102) 评论(0) 推荐(0)

Python抓取需要cookie的网页
摘要:在仿照《Python小练习:可视化人人好友关系》一文时,需要登录模拟登录人人网。然而自从CSDN事件之后,人人网开始使用加密方式处理登录名和密码,直接使用post方式已经无法登陆人人网。这时,从豆瓣讨论中找到了解决方法: 1. 首先使用浏览器登陆人人,然后找到浏览器中关于登陆的Cookie; 2. 阅读全文

posted @ 2017-05-02 17:17 小鸟的士林 阅读(244) 评论(0) 推荐(0)

爬虫简单例子
摘要:在我们日常上网浏览网页的时候,经常会看到一些好看的图片,我们就希望把这些图片保存下载,或者用户用来做桌面壁纸,或者用来做设计的素材。 我们最常规的做法就是通过鼠标右键,选择另存为。但有些图片鼠标右键的时候并没有另存为选项,还有办法就通过就是通过截图工具截取下来,但这样就降低图片的清晰度。好吧~!其实 阅读全文

posted @ 2017-04-25 13:55 小鸟的士林 阅读(161) 评论(0) 推荐(0)

导航