摘要：最近开始学习爬虫框架Scrapy，看大牛写的博客时，发现有段代码不知道如何理解，对，就是它：关键字yield该怎么理解？ 在详细查询了文档说明后，得出以下结论： 一个带有 yield 的函数就是一个 generator，它和普通函数不同，生成一个 generator 看起来像函数调用，但不会执行任何 阅读全文

摘要：最近要写一个水利网站的爬虫脚本，将网页中2个excel的数据，爬到一个excel表里 恩，就是下面的网页截图，一左一右两张表。左边日期控件，输入对应日期查询相应日期的数据。 看到这么简单的网页，真是好开心，分分钟就给你数据 用requests库，发post请求，使用fiddler或者Burpsuit 阅读全文

摘要：一个网站的爬虫脚本，在调试的时候发现问题： 脚本跑：content-type用text/xml 可以post成功，但post中body的内容没有生效，所有的响应都是当前日期；用application，post不成功(即没有返回数据)工具发：content-type用text/xml 可以post成功 阅读全文

摘要：Logging模块可以替代print函数的功能，并能将标准输出输入到日志文件保存起来，而且利用logging模块可以部分替代debug的功能，给程序排错。 一、logging模块的几个级别。默认情况下logging模块有6个级别。分别为NOSET值0，DeBUG值为10，INFO值为20，WARNI 阅读全文