随笔分类 -  Python系列

python系列==5、Scrapy 爬虫开发框架基础

摘要：框架流程图 Scrapy 使用了 Twisted 异步非阻塞网络库来处理网络通讯，整体架构大致如下(绿线是数据流向)： 简单叙述一下每层图的含义吧： Spiders(爬虫器)：它负责处理所有Responses，从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Sc 阅读全文

posted @ 2020-09-04 01:03 shanked 阅读(116) 评论(0) 推荐(0)

python系列==7、__init__.py

摘要：我们经常在python的模块目录中会看到 "__init__.py" 这个文件，那么它到底有什么作用呢？ 1. 模块包（module package）标识 如果你是使用python的相关IDE来进行开发，那么如果目录中存在该文件，该目录就会被识别为 module package 。 2. 控制导包范 阅读全文

posted @ 2020-09-04 00:42 shanked 阅读(190) 评论(0) 推荐(0)

python系列==6、socketserver网络编程

摘要：为什么使用socketserver 虽然Python内置的socket和threading模块能实现简单的多线程服务器，在非正式环境，随便用用还是可以的，但是如果要在生产环境中使用，那是万万不够的。 Python考虑得很周到，为了满足我们对多线程网络服务器的需求，提供了"socketserver"模 阅读全文

posted @ 2020-09-03 23:37 shanked 阅读(187) 评论(0) 推荐(0)

python系列==5、反射

摘要：反射机制 先看看我对Java中反射机制的通俗理解：反射之中包含了一个“反”的概念，所以要想解释反射就必须先从“正”开始解释，一般而言，当用户使用一个类的时候，应该先知道这个类，而后通过这个类产生实例化对象，但是“反”指的是通过对象找到类。 而对于Python，如果我们需要动态导入模块，并且动态地访问 阅读全文

posted @ 2020-09-03 22:23 shanked 阅读(115) 评论(0) 推荐(0)

python系列==4、实例方法，类方法、静态方法

摘要：Python中至少有三种比较常见的方法类型，即实例方法，类方法、静态方法。它们是如何定义的呢？如何调用的呢？它们又有何区别和作用呢？且看下文。 首先，这三种方法都定义在类中。下面我先简单说一下怎么定义和调用的。（PS：实例对象的权限最大。） 实例方法 定义：第一个参数必须是实例对象，该参数名一般约定 阅读全文

posted @ 2020-09-03 22:20 shanked 阅读(141) 评论(0) 推荐(0)

python系列==3、自定义爬虫

摘要：爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。爬虫从一个或若干初始网页的URL开始，获得初始网页上的 URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。爬虫的工作流程较为复杂，需要根据一定的网页分析算 法过滤与主题无 阅读全文

posted @ 2020-09-03 21:59 shanked 阅读(345) 评论(0) 推荐(0)

python系列==2、魔法方法

摘要：1、什么是魔法方法？ 魔法方法就是可以给你的类增加魔力的特殊方法，如果你的对象实现（重载）了这些方法中的某一个，那么这个方法就会在特殊的情况下被 Python 所调用，你可以定义自己想要的行为，而这一切都是自动触发的。它们经常是两个下划线包围来命名的（比如 __init__，__lt__），Pyth 阅读全文

posted @ 2020-09-03 14:21 shanked 阅读(180) 评论(0) 推荐(0)

python系列==1、python3基础

摘要：1、输入函数：input('输入提示信息')，获取用户输入，保存成一个字符串！ 输出（打印）函数：print(*args, sep=' ', end='\n', file=None)，"sep"分隔符号，"end"打印后的结束方式，活用print的参数，可以实现灵活的打印控制。 2、Python数据 阅读全文

posted @ 2020-08-31 21:52 shanked 阅读(584) 评论(0) 推荐(0)