木林森__𣛧

摘要： 笔记-scrapy-cookie传递 1. scrapy cookie传递 1.1. 开始 与cookie相关的设置参数有两个： COOKIES_ENABLED 决定是否使用cookies middleware； COOKIES_DEBUG 决定是否详细记录cookie设置情况。 2. 原理及实现 阅读全文

摘要： 笔记-cookie参数 cookie各个参数详解 定义和用法 setcookie()函数向客户端发送一个 HTTP cookie。 cookie是由服务器发送到浏览器的变量。cookie 通常是服务器嵌入到用户计算机中的小文本文件。每当计算机通过浏览器请求一个页面，就会发送这个cookie。 coo 阅读全文

摘要： 笔记-爬虫-js代码解析 1. js代码解析 1.1. 前言 在爬取网站时经常会有js生成关键信息，而且js代码是混淆过的。 以瓜子二手车为例，直接请求https://www.guazi.com/bj/buy/会返回一个203状态大小为5324的包，核心是js代码。 它负责生成cookie及跳转，想 阅读全文

摘要： 笔记-selenium+chrome headless 1. selenium+chrome headless phantomjs与selenium分手了，建议使用其它无头浏览器。 chrome也提供了无头浏览器，找到对应版本搭建测试环境。 1.1. 常规使用 先上代码，下面是常用调用方式。 fro 阅读全文

摘要： 笔记-scrapy-scarpyd 1. scrapy部署 会写爬虫之后就是部署、管理爬虫了，下面讲一下如何部署scrapy爬虫。 现在使用较多的管理工具是Scrapyd。 scrapyd是一个爬虫管理服务器，在需要部署爬虫的服务器上安装。 2. scrapyd 2.1. 体系/原理 以向10台服务 阅读全文

摘要： 笔记-python-多环境-virtualenv 1. 多环境 在开发Python应用程序的时候，系统安装的Python3只有一个版本：3.6.4，所有第三方的包都会被pip安装到Python3的site-packages目录下。 如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Pytho 阅读全文

摘要： 算法-单链表及环 碰到一个问题，单链表及环的问题，整理一下各种解法： 1.1. 是否有环 时间复杂度最优，空间复杂度较高。 1.2. 环的长度 现在快慢指针位置重合，再往前移动，移动r次两者再次相遇，说明快指针追上了慢指针，追的长度等于r等于环的长度。 1.3. 环的起点位置 则有如下等式成立： 慢 阅读全文

摘要： 笔记-scrapy-signal 1. scrapy singal 1.1. 信号机制 scrapy的信号机制主要由三个模块完成 signals.py 定义信号量 signalmanager.py 管理 utils/signal.py 真正干活的 scrapy自带一些内置的信号，定义在signals 阅读全文

摘要： 笔记-scrapy-extentions 1. extentions 1.1. 开始 The extensions framework provides a mechanism for inserting your own custom functionality into Scrapy. Exte 阅读全文

摘要： 笔记-reactor pattern 1. reactor模式 1.1. 什么是reactor模式 The reactor design pattern is an event handling pattern for handling service requests delivered conc 阅读全文