摘要：0x00 概述 需要成功安装scrapy，安装方法与本文无关，不在这多说。 0x01 配置settings 由于百度对于user-agent进行验证，所以需要添加。 settings.py中找到DEFAULT_REQUEST_HEADERS,设置好后如下： settings.py中找到ROBOTST 阅读全文

摘要：初次接触这个框架，先订个小目标，抓取QQ首页，然后存入记事本。 安装框架（http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html） 创建一个项目，项目根目录输入 在spiders文件夹下面新建一个qq_spider.py,写入内容 阅读全文

摘要：下面将一个经典的消费者和生产者的案例进行分析： 协程涉及函数 yield、send、next。堵塞、传递（发送）、继续 从main 开始看起，首先调用consumer()，将其返回结果给c，然后将c给produce()函数。 consumer() 函数中通过yield(阻塞)，然后进行produce 阅读全文

摘要：其实并不是越复杂的代码越好，简单高效才是好。 关键是思路和逻辑，还有多看别人写的代码。 学习到了：） 阅读全文

摘要：初学python脚本，写个工具练练手。第一次写勿喷。呃...忘了截图了，补上了。 程序对于处理 JSON post 有些问题，其他地方还没发现有啥问题。 阅读全文