06 2019 档案

网络爬虫（3）-Scrapy全站爬虫
摘要：1.CrawlSpider介绍 CrawlSpider其实是Spider的一个子类，除了继承到Spider的特性和功能外，还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是”LinkExtractors链接提取器“。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url 阅读全文
posted @ 2019-06-29 22:39 麦小秋 阅读(375) 评论(0) 推荐(0)
网络爬虫（2）-Scrapy框架介绍
摘要：1.Scrapy框架介绍 Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰，榄块之间的榈合程度低，可扩展性极强，可以灵活完成各种需求。 Engine：引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。 Item：项目,它定义了爬取结果的数据结构 阅读全文
posted @ 2019-06-29 21:07 麦小秋 阅读(400) 评论(0) 推荐(0)
网络爬虫（1）-爬虫与HTTP
摘要：转载：https://cuiqingcai.com/5052.html 1.爬虫分类 通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 简单来讲就是尽可能的；把互联网上的所有的网页下 阅读全文
posted @ 2019-06-27 01:02 麦小秋 阅读(326) 评论(0) 推荐(0)
Python基础（14）-时间处理
摘要：1.datatime模块介绍 datetime是python的内置模块，用来处理日期和时间。datetime对象是 date 与 time 的结合体，涵盖了date和time对象 的所有信息。 该模块常用的类有： 类名功能说明 date 日期对象 time 时间对象 datetime 日期时间对象 阅读全文
posted @ 2019-06-26 00:45 麦小秋 阅读(302) 评论(0) 推荐(0)
Python基础（13）-数据存储
摘要：1.文件打开方式 文件打开方式 说明 r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式 rb 以二进制只读方式打开一个文件。文件指针将会放在文件的开头 r+ 以读写方式打开一个文件。文件指针将会放在文件的开头 rb+ 以二进制读写方式打开一个文件。文件指针将会放在文件的开头 w 以 阅读全文
posted @ 2019-06-15 00:19 麦小秋 阅读(315) 评论(0) 推荐(0)
Python基础（12）-面向对象（下）
摘要：Python基础（12）-面向对象（下） 阅读全文
posted @ 2019-06-04 17:24 麦小秋 阅读(199) 评论(0) 推荐(0)
Python基础（11）-面向对象（上）
摘要：1.面向对象编程 OOP编程是利用“类”和“对象”来创建各种模型来实现对真实世界的描述，使用面向对象编程的原因一方面是因为它可以使程序的维护和扩展变得更简单，并且可以大大提高程序开发效率 ，另外，基于面向对象的程序可以使它人更加容易理解你的代码逻辑，从而使团队开发变得更从容。 Class 类一个类即 阅读全文
posted @ 2019-06-04 17:23 麦小秋 阅读(168) 评论(0) 推荐(0)
Python基础（10）-常用模块
摘要：1.模块导入与调用 import module_a #导入 from module import xx from module.xx.xx import xx as rename #导入后重命令 from module.xx.xx import * #导入一个模块下的所有方法，不建议使用 modul 阅读全文
posted @ 2019-06-03 23:58 麦小秋 阅读(208) 评论(0) 推荐(0)