摘要: 我们写代码会经常出现bug,有的人会使用断点调试器,但是设置这样的断点调试器是花时间的。 所以很多人会在可能出现错误的地方print打印来输出语句。 Pysooper的作用有点类似,你不必小心谨慎的使用print语句,只需要在想要调试的函数中引入一个装饰器。就可以得到函数的详细日志,包括运行了那些行 阅读全文
posted @ 2019-04-25 17:48 噼里巴啦 阅读(435) 评论(0) 推荐(0) 编辑
摘要: 如何爬取一个网站的全站数据? 可以使用Scrapy中基于Spider的递归方式进行爬取(Request模块回调parse方法) 还有一种更高效的方法,就是基于CrawlSpider的自动爬取实现 CrawlSpider其实是Spider的一个子类,除了继承到Spider的特性和功能外,还派生出了自己 阅读全文
posted @ 2019-04-25 16:52 噼里巴啦 阅读(288) 评论(0) 推荐(0) 编辑