2019年10月22日
Scrapy框架-中间件
摘要： 一.中间件中主要有3个函数方法 process_request:处理请求,默认返回值是None process_response:处理响应,默认返回值是response对象 process_exception:处理错误信息,默认返回值是None 二.中间件三个方法的返回值返回的结果 1.proce 阅读全文
posted @ 2019-10-22 21:33 小小咸鱼YwY 阅读(607) 评论(0) 推荐(0)
python爬虫爬小说网站涉及到(js加密,CSS加密)
摘要： `我是对于xxxx小说网进行爬取只讲思路不展示代码`请见谅 一.涉及到的反爬 js加密 css加密 请求头中的 以及 cookie 二.思路 1.对于js加密 对于有js加密信息,我们一般就是找到他加密的 使用 模块来执行js代码即可 怎么找可以参考我之前对于 "链接点我" 2.对于css加密 常见 阅读全文
posted @ 2019-10-22 17:09 小小咸鱼YwY 阅读(2278) 评论(0) 推荐(0)
Scrapy框架的简单使用
摘要： 一.安装依赖 二.命令 运行爬虫程序如果不打印日志 三.文件说明 scrapy.cfg 项目的主配置信息，用来部署scrapy时使用，爬虫相关的配置信息在settings.py文件中。 items.py 设置数据存储模板，用于结构化数据，如：Django的Model pipelines 数据处理行为 阅读全文
posted @ 2019-10-22 14:52 小小咸鱼YwY 阅读(856) 评论(0) 推荐(0)