摘要： 题记 介绍下Python 中 map，reduce，和filter 内置函数的方法 一：map map(...) map(function, sequence[, sequence, ...]) list 对sequence中的item依次执行function(item)，执行结果输出为list。 阅读全文

摘要： 题记 有人说：virtualenv、fabric 和 pip 是 pythoneer 的三大神器。 不管认不认同，至少要先认识一下，pip现在倒是经常用到，virtualenv第一次听说，不过，总得尝试一下吧。 一、安装 pip install virtualenv 因为我已经安装了pip，那么就直 阅读全文

摘要： 题记 threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。python当前版本的多线程库没有实现优先级、线程组，线程也不能被停止、暂停、恢复、中断。 threading模块提供的类： Thread, Lock, Rlock, Condition, [Bounded]Semaph 阅读全文

摘要： 题记 我们为什么需要一个爬虫框架？一个爬虫框架能帮我们做什么事情，减轻我们什么样的一些工作，我们重新梳理爬虫到底是做什么的，哪些工作是重复的工作，我们可以用框架来解决的。 一个简单的爬虫，从一个url开始，从开始的网页里面解析到所有可能的链接，通过这些链接不断的递归，抓取到全网的网页。 在这个过程中 阅读全文

摘要： 题记 os.path 模块，可以获取文件路径的相关操作，比如判断是不是文件夹，文件是否存在等。 文件路径相关操作 os.path包主要是处理路径字符串，比如说'/home/vamei/doc/file.txt'，提取出有用信息。 import os.path path = '/home/vamei/ 阅读全文

摘要： 题记 shutil模块提供了大量的文件的高级操作。特别针对文件拷贝和删除，主要功能为目录和文件操作以及压缩操作。对单个文件的操作也可参见os模块。 拷贝文件 shutil.copyfile 复制文件内容（不包含元数据）从src到dst。 DST必须是完整的目标文件名;拷贝目录参见shutil.cop 阅读全文

摘要： 题记 一般我喜欢用 utf 8 编码，在 python 怎么使用呢？ 使用utf 8 文字 在 python 源码文件中用 utf 8 文字。一般会报错，如下： File "F:\workspace\psh\src\test.py", line 2 SyntaxError: Non ASCII ch 阅读全文

摘要： 题记 在获取中文字符的时候，如果出现乱码的情况，我们需要了解当前的字符串的编码形式。使用下面两种方法可以判断字符串的编码形式。 法一： isinstance(s, str) 用来判断是否为一般字符串 isinstance(s, unicode) 用来判断是否为unicode 或 if type(st 阅读全文

摘要： ASCII码 我们知道，在计算机内部，所有的信息最终都表示为一个二进制的字符串。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称为一个字节（byte）。也就是说，一个字节一共可以用来表示256种不同的状态，每一个状态对应一个符号，就是256个符号，从0000 阅读全文

摘要： 题记 读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。 读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的 阅读全文

摘要： python中，对字符串的操作是最常见的，python对字符串操作有自己特殊的处理方式。 字符串的截取 python中对于字符串的索引是比较特别的，来感受一下： s = '123456789' 截取中间的两个字符 s[1:3] 输出为：'23' 从某个位置到结尾 s[4:] 输出为：'56789' 阅读全文

摘要： 本文介绍了Python对于正则表达式的支持，包括正则表达式基础以及Python正则表达式标准库的完整介绍及使用示例。 正则表达式在很多的应用中都有使用到，特别是在网络爬虫中格式化html后取出自己需要的属性，在字符串的匹配和查找中也有很多的应用。 本文主要使用python对正则表达式进行说明，并配合合适的代码。 阅读全文