木林森__𣛧

2018年11月10日

摘要：笔记-restful 1. restful简介 restful:representational state transfer，简称REST，描述了一个架构样式的网络系统。值得注意的是REST并没有一个明确的标准，而更像是一种设计的风格。 REST的全概念包括系统设计，架构等，但一般情况下提到的R 阅读全文

posted @ 2018-11-10 21:08 木林森__𣛧阅读(153) 评论(0) 推荐(0)

笔记-pytho-语法-yield

摘要：笔记-python-语法-yield 1. yield 1.1. yield基本使用 def fab(max): n,a,b = 0, 0, 1 while n < max: yield b a, b = b, a+b n = n + 1 f = fab(7) print(f) for i in f 阅读全文

posted @ 2018-11-10 19:41 木林森__𣛧阅读(158) 评论(0) 推荐(0)

笔记-python-lib-chardet

摘要：笔记-python-lib-chardet 1. chardet chardet是一个非常优秀的编码识别模块，是python的第三方库，需要下载和安装。文档地址：https://pypi.org/project/chardet/ 当然它不是所有的编码格式都能识别，具体可识别的编码格式参见文档。阅读全文

posted @ 2018-11-10 11:22 木林森__𣛧阅读(104) 评论(0) 推荐(0)

笔记-scrapy-深入学习-sheduler

摘要：笔记-scrapy-深入学习-sheduler 1. scheduler.py source code：scrapy/core/scheduler.py: 1.1. 初始化的开始在分析engine的open_spider函数时，讲过scheduler对象是通过类的from_cralwer方法生成的阅读全文

posted @ 2018-11-10 10:51 木林森__𣛧阅读(258) 评论(0) 推荐(0)

2018年11月9日

笔记-python-调试

摘要：笔记-python-调试一般在pycharm下调试或使用log查看输出日志，有时小程序不想这么麻烦，也有一些方便使用的调试方式可以使用。 1. idle调试 1.打开Python shell> debug > debugger； 2.f5运行文件； 3.可以在dubugger界面中进行调试； 2. 阅读全文

posted @ 2018-11-09 23:32 木林森__𣛧阅读(166) 评论(0) 推荐(0)

2018年11月8日

笔记-scrapy-去重

摘要：笔记-scrapy-去重 1. scrapy 去重 scrapy 版本：1.5.0 第一步是要找到去重的代码，scrapy在请求入列前去重，具体源码在scheduler.py： def enqueue_request(self, request): if not request.dont_filte 阅读全文

posted @ 2018-11-08 17:02 木林森__𣛧阅读(248) 评论(0) 推荐(0)

2018年11月7日

笔记-HTTP及HTTPS

摘要：笔记-HTTP及HTTPS 1. HTTP 1.1. 简介 HTTP:hyper text transfer protocol 超文本传输协议 http常用请求方式，method get,post,head,put,delete 1.2. HTTP协议版本更替 HTTP/0.9：HTTP协议的最初版阅读全文

posted @ 2018-11-07 23:37 木林森__𣛧阅读(242) 评论(0) 推荐(0)

笔记-python-standard library-26.4 unittest

摘要：笔记-python-standard library-26.4 unittest 1. unittest source code:Lib/unittest/__init__.py 它是python自带的单元测试框架，封装好了一些校验返回的结果方法和一些用例执行前的初始化操作。在开始之前，有几个概念阅读全文

posted @ 2018-11-07 21:13 木林森__𣛧阅读(148) 评论(0) 推荐(0)

笔记-爬虫-scrapy-srcapy-redis组件

摘要：笔记-爬虫-scrapy-srcapy-redis组件 1. 简介 scrapy是一个爬虫框架，但不支持分布式，scrapy-redis是为了更方便的实现scrapy分布式爬虫的组件。可以在pypi上找到：https://pypi.org/project/scrapy-redis/ 1.1. 安装阅读全文

posted @ 2018-11-07 15:06 木林森__𣛧阅读(231) 评论(0) 推荐(0)

笔记-redis安装

摘要：笔记-redis安装配置 1. redis安装配置 1.1. windows环境安装 win8已有redis 查看版本：redis-server –version 想更新到5.0.0，但是redis本身不支持windows，在https://github.com/MicrosoftArchive/ 阅读全文

posted @ 2018-11-07 14:54 木林森__𣛧阅读(102) 评论(0) 推荐(0)

公告