★行者尚★

摘要： 1 算法 1.1 字符串处理 re 正则表达式的标准库。 StringIO / cStringIO 以读写文件的方式来操作字符串（有点类似于内存文件）。 cStringIO 是 C 语言实现的，提供高性能；而 StringIO 是 Python 实现的，提供 Unicode 兼容性。 chardet 阅读全文

摘要： 一.概述. redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/rem 阅读全文

摘要： 25 阅读全文

摘要： 在Python中，你可能会发现这样一个奇怪的现象： 为什么会出现 2==2>1的结果为True？如果说这是运算符的优先级问题，那么后两个式子为什么又都是False？ 实际上这涉及到了Python的 链式对比(ChainedComparisons)。在其他语言中，有一个变量 x，如果要判断x是否大于1 阅读全文

摘要： 一、ASCII 码 我们知道，计算机内部，所有信息最终都是一个二进制值。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称为一个字节（byte）。也就是说，一个字节一共可以用来表示256种不同的状态，每一个状态对应一个符号，就是256个符号，从00000000 阅读全文

摘要： 一.提升scrapy爬取数据的效率 增加并发 默认scrapy开启时并发线程为32个,可以适当的增加 CONCURRENT_REQUESTS =32 降低日志级别 在运行scrapy时,会有大量的日志信息输出,为了减少CPU的使用路,可以设置log的输出信息为error即可 LOG_LEVEL="E 阅读全文

摘要： 一.手动发送get请求(处理分页操作)(递归解析) 在爬虫文件中 在items.py中 在管道文件中 二.post请求(以百度翻译为例) 三.cookie的处理 使用scrapy模块,不需要自己处理cookie,scrapy模块已经帮我们处理了,但是一定要先登录才可以 使用方式:修改配置文件 四.请 阅读全文

摘要： 移动端数据爬取 注:抓包工具:青花瓷 a. Fiddler设置 打开Fiddler软件，打开工具的设置。(Fiddler软件菜单栏：Tools->Options) 在HTTPS中设置如下： 在Connections中设置如下，这里使用默认8888端口，当然也可以自己更改，但是注意不要与已经使用的端口 阅读全文

摘要： 一.markdown格式 常用语法 最常见的Markdown格式选项和键盘快捷键 [3] : 标题 标题能显示出文章的结构。行首插入1-6个 # ，每增加一个 # 表示更深入层次的内容，对应到标题的深度由 1-6 阶。 H1 :# Header 1 H2 :## Header 2 H3 :### H 阅读全文

摘要： 一.数据解析 1.xpath解析(各个爬虫语言通用) (1)环境安装 (2)解析原理 (3)xpath语法(返回值是一个列表) (4)案例 在response返回数据中,图片的src都是相同的,每个图片都有一个span标签存储一串加密字符串,同时发现一个jandan_load_img函数,故猜测该加 阅读全文