摘要：处理scrapy中包括多个pipeline时如何让spider执行制定的pipeline管道１:创建一个装饰器from scrapy.exceptions import DropItemimport functools'''当有多个pipeline时,判断spider如何执行指定的管道''' def 阅读全文

摘要：最近使用Python的过程中遇到了一些坑，例如用datetime.datetime.now()这个可变对象作为函数的默认参数，模块循环依赖等等。 在此记录一下，方便以后查询和补充。 避免可变对象作为默认参数 在使用函数的过程中，经常会涉及默认参数。在Python中，当使用可变对象作为默认参数的时候， 阅读全文

摘要：最近用Scrapy写爬虫,将爬取的数据存入Mongodb中,使用的是pymongo这个库,但是运行的时候报错如标题所示 搜了好多网站包括stackoverflow都没有解决,后来发现自己用的是虚拟环境下的python,于是切换到虚拟环境目录并激活然后在运行就正常了. 阅读全文

摘要：import scrapy from myproject.items import MyItem class MySpider(scrapy.Spider): name = 'example.com' allowed_domains = ['example.com'] start_urls = [ 阅读全文