摘要：静态文件配置 简单地说就是：我们自己导入的一些包就叫做静态文件配置的步骤： 1、在全局中先创建一个static的包， 2、在static里面导入我们的bootstrap，还是jquery等等... 3、然后在settings.py中加上一些配置 1、在全局中先创建一个static的包， 2、在sta 阅读全文

摘要：Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。 五大核心组件的关系流程数据走向图 引擎: 阅读全文

摘要：实例简单应用 阅读全文

摘要：爬虫的分类: 通用 聚焦 增量式:监测 requests 作用:模拟浏览器发请求 get/post:url,data/params,headers 反爬机制: robots.txt UA检测 编码流程: 指定url 发起请求 获取响应数据 持久化存储 get/post返回值:响应对象response 阅读全文

摘要：绑定回调函数,在爬虫中必须用回调函数,因为在数据爬取下来后,用回调函数可以进行数据解析 多任务异步协程 单线程+多任务异步 阅读全文