摘要: 用yield callback 阅读全文
posted @ 2018-12-14 16:12 Corey0606 阅读(510) 评论(0) 推荐(0)
摘要: 需求:将爬取到的数据值分别存储到本地磁盘、redis数据库、mysql数据。 1.需要在管道文件中编写对应平台的管道类 2.在配置文件中对自定义的管道类进行生效操作(在pipelines里面定义的类,加进settings.py里面 pipelines对应的里面,后面数字大小无所谓) pipeline 阅读全文
posted @ 2018-12-14 11:37 Corey0606 阅读(197) 评论(0) 推荐(0)