该文被密码保护。 阅读全文

摘要： 一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文

摘要： 一 mongodb的介绍 1、易用性：mongodb是一款强大。灵活并且易扩展的数据库。他面向于文档的数据库，而不是关系性数据库。不采用关系型主要是为了获得更好的扩展性。还有一个好处就是面向文档的数据库不在需要行（row）的概念。通过在文档中嵌入文档和数组，面向文档的方法能够仅使用一条记录来表现复杂 阅读全文

摘要： 一 asyncio模块 asyncio模块：主要是帮我们检测IO（只能是网路IO）。 @asyncio.coroutine：装饰器 tasks：任务列表 get_event_loop：起任务 run_until_complete：提交的方式，检测任务的执行 asgncio.gather（任务列表）： 阅读全文

摘要： 一 BeautifulSoup4模块 下载解释器：lxml，处理速度快，以下也是安装lxml解释器的。 另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib: 安装BeautifulSoup：pip ins 阅读全文

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

摘要： 一 模块的介绍 selenium模块最开始是一个自动化测试的工具，驱动浏览器完全模拟浏览器自动测试。 二 下载安装 #安装：selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可，注 阅读全文

摘要： 一 模块的下载安装 pip install requests 二 爬虫的介绍 什么是爬虫：就是模拟浏览器发送请求；保存到本地；提取有用的数据；保存到数据库 爬虫的价值：获取有用的数据，保存到数据库 爬虫的基本流程： 1.发起请求 使用http库向目标站点发起请求，即发送一个Request Reque 阅读全文

摘要： 中间件：主要用于安全验证。 class MiddleWare2(MiddlewareMixin): def process_request(self,request): print("MW2 request...........") # return HttpResponse("666!") def 阅读全文