随笔分类 -  爬虫

正则re模块
摘要：正则表达式的特殊字符： 语法： 1. 特殊字符 2. 判断一个字符串是否为 "b" 开头 输出： 3. 判断一个字符串是否为 "b" 开头 和 "0" 结尾 输出 4. 使用非贪婪模式 ? 取出 "baaaal" 这一部分字符串，只提取第一次出现的 "b.l" 输出： 5. 贪婪模式会取出最后一个" 阅读全文
posted @ 2018-05-14 17:20 叨客厨子 阅读(211) 评论(0) 推荐(0)
根据Smzdm项目更改为-分布式爬虫
该文被密码保护。
posted @ 2018-03-27 18:51 叨客厨子 阅读(4) 评论(0) 推荐(0)
Scrapy-redis 分布式爬虫
摘要：Scrapy redis 分布式爬虫 Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件。scrapy redis 的解决是把这个Scrapy queue换成redis数据库（也是指redis队 阅读全文
posted @ 2018-03-27 16:13 叨客厨子 阅读(251) 评论(0) 推荐(0)
爬虫目录
摘要：re模块使用 re,BeatifulSoup,requests模块使用 requests发送请求案例 scrapy 框架的安装 scrapy 框架目录结构 scrapy 爬取抽屉标题 scrapy crawl 腾讯社会招聘职位保存到文本 scrapy 爬取抽屉标题 API 爬取斗鱼主播图片等信息 阳 阅读全文
posted @ 2018-03-27 09:51 叨客厨子 阅读(180) 评论(0) 推荐(0)
爬取Smzdm的商品放入redis 中并持久化
该文被密码保护。
posted @ 2018-03-26 18:29 叨客厨子 阅读(6) 评论(0) 推荐(0)
爬取豆瓣电影TOP 250的电影存储到mongodb中
摘要：爬取豆瓣电影TOP 250的电影存储到mongodb中 1.创建项目sp1 2.创建一个爬虫 3.编辑爬虫内容doubanmovie.py 8. 检查日志信息 阅读全文
posted @ 2018-03-19 17:40 叨客厨子 阅读(863) 评论(0) 推荐(0)
下载中间件--随机IP代理以及随机User_Agent
摘要：下载中间件随机IP代理以及随机User_Agent 1.在settings.py中设置开启代理功能 2.编辑middlewares.py 中间件文件 阅读全文
posted @ 2018-03-19 17:38 叨客厨子 阅读(573) 评论(0) 推荐(0)
爬取阳光在线（当请求URL发生变更）
该文被密码保护。
posted @ 2018-03-15 18:24 叨客厨子 阅读(7) 评论(0) 推荐(0)
爬虫代理
摘要：使用代理 1.创建代理文件proxies.py在项目目录 2.在settings.py中指定代理文件 阅读全文
posted @ 2018-03-13 23:13 叨客厨子 阅读(164) 评论(0) 推荐(0)
通过API 获取斗鱼主播图片等信息
该文被密码保护。
posted @ 2018-03-13 11:13 叨客厨子 阅读(5) 评论(0) 推荐(0)
爬取文件时，对已经操作过的URL进行过滤
摘要：爬取文件时，对已经操作过的URL进行过滤 1.创建过滤规则文件filter.py在spiders同级目录 2.在settings.py中指定配置文件 阅读全文
posted @ 2018-03-12 22:19 叨客厨子 阅读(398) 评论(0) 推荐(0)
获取 腾讯社会招聘的 职位
该文被密码保护。
posted @ 2018-03-12 16:36 叨客厨子 阅读(14) 评论(0) 推荐(0)
Scrapy项目创建以及目录详情
摘要：Scrapy项目创建已经目录详情 一、新建项目(scrapy startproject) 在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令： scrapy.cfg 项目的配置文件 sp1/ 项目的Python模块，将会从这里引用代码 sp1/items.py 项 阅读全文
posted @ 2018-03-12 10:33 叨客厨子 阅读(638) 评论(0) 推荐(0)
Scrapy 框架 安装
摘要：Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy架构图(绿线是数据流向)： 1. Scrapy Engi 阅读全文
posted @ 2018-03-12 10:25 叨客厨子 阅读(144) 评论(0) 推荐(0)
爬取 抽屉网 标题
该文被密码保护。
posted @ 2018-03-12 10:24 叨客厨子 阅读(9) 评论(0) 推荐(0)
爬虫案例
摘要：爬虫案例 爬取汽车之家，指定页面的图片url 1.爬取汽车之家，指定页面的图片url 爬取汽车之家，news页面的标题图片摘要 通过requests 登录到github页面 通过requests给抽屉文章点赞 阅读全文
posted @ 2018-01-29 18:19 叨客厨子 阅读(208) 评论(0) 推荐(0)
爬虫基础以及 re,BeatifulSoup,requests模块使用
摘要：爬虫基础以及BeatifulSoup模块使用 爬虫的定义：向网站发起请求，获取资源后分析并提取有用数据的程序 爬虫的流程 发送请求 request 获取响应内容 response 解析内容 BeatifulSoup 保存数据 mysql 1.Request请求内容 1.1请求方式： 1.2请求url 阅读全文
posted @ 2018-01-29 12:55 叨客厨子 阅读(468) 评论(0) 推荐(0)