随笔分类 -  Python

Python3 Scrapy爬虫框架-Scrapyrt部署
摘要：Scrapyrt：为Scrapy提供了一个调度的HTTP接口，有了它就不需要再执行Scrapy命令，而是通过请求一个HTTP接口即可调度Scrapy任务 GitHub：https://github.com/scrapinghub/scrapyrt 官方文档：http://scrapyrt.readt 阅读全文
posted @ 2020-08-30 16:16 陨落的星尘 阅读(318) 评论(0) 推荐(0)
Python3 Scrapy爬虫框架-使用CrawlSpider
摘要：新建项目创建爬虫 1 scrapy startproject Scrapy_crawl # 新建Scrapy项目 2 3 scrapy genspider -l # 查看全部模板 4 # Available templates: 5 # basic 6 # crawl 7 # csvfeed 8 # 阅读全文
posted @ 2020-08-30 15:53 陨落的星尘 阅读(351) 评论(0) 推荐(0)
Python3 Scrapy爬虫框架-通用爬虫介绍
摘要：CrawlSpider：Scrapy提供的一个通用Spider 官方文档链接：http://scrapy.readthedocs.io/en/latest/topics/spiders.html#crawlspider 在Spider里，使用数据结构Rule表示用来实现页面的提取的爬取规则；Rule 阅读全文
posted @ 2020-08-30 15:40 陨落的星尘 阅读(375) 评论(0) 推荐(0)
Python3 Scrapy爬虫框架-Spider Middleware
摘要：Spider Middleware：介于Scrapy的Spider处理机制的钩子框架 在Downloader生成的Response发送给Spider之前对Response进行处理 在Spider生成的Request发送给Schedule之前对Request进行处理 在Spider生成Item发送给I 阅读全文
posted @ 2020-08-26 22:06 陨落的星尘 阅读(416) 评论(0) 推荐(0)
Python3 Scrapy爬虫框架-Downloader Middleware
摘要：Downloader Middleware：下载中间件，它处于Scrapy的Request和Response之间的处理模块 在Schedule调度出队列中的Request发送给Downloader下载之前，对Request进行修改 在下载后生成的Response发送给Spider之前，可以对其进行解 阅读全文
posted @ 2020-08-23 22:33 陨落的星尘 阅读(382) 评论(0) 推荐(0)
Python3 Scrapy爬虫框架-使用
摘要：创建Scrapy项目 1 # https://github.com/My-Sun-Shine/Python/tree/master/Python3/Scrapy_Learn/Scrapy_A 2 scrapy startproject Scrapy_A 项目结构： scrapy.cfg：Scrapy 阅读全文
posted @ 2020-08-23 22:28 陨落的星尘 阅读(982) 评论(0) 推荐(0)
Python3 Scrapy爬虫框架-安装
摘要：爬虫框架Scrapy：该框架依赖的库比较多，至少需要依赖库有Twisted、lxml、pyOpenSSL；而在不同平台环境又各不相同，所以在安装之前最好确保把一些基本库安装好 官方网站：https://scrapy.org 官方文档：https://docs.scrapy.org PyPi：http 阅读全文
posted @ 2020-08-23 22:18 陨落的星尘 阅读(176) 评论(0) 推荐(0)
Python3 Robots协议
摘要：Robots协议：也被称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取，它通常是一个叫做 robots.txt 的文本文件，放在网站的根目录下； 当搜索爬虫访问一个站点时，它首先会检查 阅读全文
posted @ 2020-08-23 22:15 陨落的星尘 阅读(265) 评论(0) 推荐(0)
Python3 PySpider爬虫框架-命令行
摘要：pyspider命令行 1 pyspider all # 启动pyspider 2 # pyspider [OPTIONS] COMMAND [ARGS] 3 # 可以查看https://www.cntofu.com/book/156/command.md 4 """ 5 TEXT是需要指定的文本字 阅读全文
posted @ 2020-08-23 22:09 陨落的星尘 阅读(258) 评论(0) 推荐(0)
Python3 PySpider爬虫框架-使用
摘要：pyspider的架构主要分为Scheduler调度器、Fetcher抓取器、Processer处理器三部分，整个抓取过程都会受到Monitor监控器的监控，抓取的结果被Result Worker结果处理器处理 点击Create按钮创建新项目 1 #!/usr/bin/env python 2 # 阅读全文
posted @ 2020-08-23 22:08 陨落的星尘 阅读(290) 评论(0) 推荐(0)
Python3 PySpider爬虫框架-安装
摘要：PySpider网络爬虫框架：带有强大的 WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，同时它支持多种数据库后端、多种消息队列，另外它还支持 JavaScript 渲染页面的爬取 官方文档：http://docs.pyspider.org/ PyPi：https://pypi.pyt 阅读全文
posted @ 2020-08-23 22:05 陨落的星尘 阅读(208) 评论(0) 推荐(0)
Python3 爬虫-自定义字体反爬
摘要：百度字体编辑器：http://fontstore.baidu.com/static/editor/index.html 使用一种自定义的字体格式，新建ttf文件，通过https://cloudconvert.com/ttf-to-svg网站把ttf文件转换为svg文件，然后把svg文件上传http: 阅读全文
posted @ 2020-08-23 21:34 陨落的星尘 阅读(416) 评论(0) 推荐(0)
Python3 爬虫-字体数字反爬
摘要：爬取网站：http://www.dianping.com/xian/ch0 反爬措施：对于某些数字和中文不是直接使用文本显示，如下图，对于"189条点评"中的8和9两个数字，"人均￥283"中的2、8和3三个数字，对于 "灞临路营背后西北200米"中的五个中文，都是经过一层字体加密 1 <!--HT 阅读全文
posted @ 2020-08-23 21:24 陨落的星尘 阅读(573) 评论(0) 推荐(0)