摘要：
1.任务需求 百度贴吧有很多主题，每个主题下的网页存在很多分页。爬取不同的主题，并下载每个主题下的多页网页。 输入贴吧名称，下载相应贴吧的多页网页，设置最多下载50页。 2.分析网页 访问不同的百度贴吧时。尝试搜索多个贴吧，观察到浏览器的url中的kw为贴吧的名称。 因此，发送get请求时，设置不同 阅读全文
posted @ 2018-07-06 23:04
doitjust
阅读(299)
评论(0)
推荐(0)
摘要：
CrawlSpider CrawlSpider类 CrawlSpider类常用于爬取一般的网站，其定义了一些规则（rule）来提供跟进链接的功能，使用非常方便。处理从Spider继承过来的属性外，还提供了一个新的属性ruels，该属性是一个过多个Rule对象的元组(list)，每个Rule都对爬取网 阅读全文
posted @ 2018-07-01 21:53
doitjust
阅读(164)
评论(0)
推荐(0)
摘要：
Scrapy架构(各组件的功能)及Scrapy引擎控制数据流的过程 1. Scrapy架构图(绿线是数据流向)： □ Scrapy引擎(Engine)：引擎负责控制数据流在系统的所有组件中流动，并在相应动作发生时触发事件。 □ 调度器(Scheduler)：调度器从引擎接收Request并将它们入队 阅读全文
posted @ 2018-06-30 17:17
doitjust
阅读(191)
评论(0)
推荐(0)
摘要：
scrapy-下载中间件 每个下载中间件组件是定义了以下一个或多个方法的Python类■ process_request(request,spider)■ process_response(request,response,spider)■ process_exception(request,exc 阅读全文
posted @ 2018-06-30 00:24
doitjust
阅读(188)
评论(0)
推荐(0)
摘要：
百度图片网页中中，当页面滚动到底部，页面会加载新的内容。 我们通过selenium和谷歌浏览器驱动，执行js，是浏览器不断加载页面，通过抓取页面的图片路径来下载图片。 1 from selenium import webdriver 2 from selenium.webdriver.common. 阅读全文
posted @ 2018-06-24 22:37
doitjust
阅读(2010)
评论(0)
推荐(0)
摘要：
使用selenium+PhantomJS爬取拉钩网职位信息，保存在csv文件至本地磁盘 拉钩网的职位页面，点击下一页，职位信息加载，但是浏览器的url的不变，说明数据不是发送get请求得到的。 我们不去寻找它的API。这里使用另一种方式：使用PhantomJS模拟浏览，通过单击页面获取下一页。 这里 阅读全文
posted @ 2018-06-24 18:26
doitjust
阅读(218)
评论(0)
推荐(0)
摘要：
有的时候爬取网页，可以利用网站额结构特点爬取网页 在百度搜索框中输入搜索内容，单击搜索，浏览器会发送一个带有参数的url请求。尝试删除其中的一些参数，只剩下wd这个参数。发现wd是搜索内容。这样程序可以根据不同的wd值，请求不同的网页。 1 from urllib import request,pa 阅读全文
posted @ 2018-06-24 15:59
doitjust
阅读(688)
评论(0)
推荐(0)
摘要：
有的网页具有一些反爬机制，如：需要浏览器请求头中的User-Agent。User-Agent类似浏览器的身份证。 程序中不设置User-Agent。默认是Python-urllib/3.5。这样网站就知道是程序(而不是人)在访问，有的网站(如：西刺代理)就不会响应这样的请求。 程序中要设置浏览器请求 阅读全文
posted @ 2018-06-24 15:40
doitjust
阅读(646)
评论(0)
推荐(0)
摘要：
简单的案例-爬取百度首页 1 from urllib import request 2 ''' 3 爬取百度首页 4 ''' 5 # 确定爬去目标 6 base_url = 'http://www.baidu.com' 7 8 # 发起http请求 返回一个类文件对象 9 response = re 阅读全文
posted @ 2018-06-24 14:48
doitjust
阅读(206)
评论(0)
推荐(0)
摘要：
Model 模型模型是你的数据的唯一的、权威的信息源。它包含你所存储的数据的必要字段和行为。通常，每个模型对应数据库中唯一的一张表。 每个模型都是dhango.db.models.Model 的一个Python子类 模型的每个属性都表示数据中的的一个字段 Django提供一套自动生成的用于数据库访问 阅读全文
posted @ 2018-05-27 17:14
doitjust
阅读(524)
评论(0)
推荐(0)
浙公网安备 33010602011771号