• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
oooooolr
You can do anything but not everything. ——David Allen
博客园    首页    新随笔    联系   管理    订阅  订阅
2019年3月8日
煎蛋ooxx
摘要: pipeline.py settings.py 算是第一个运行成功的scrapy吧,特别开心 阅读全文
posted @ 2019-03-08 20:04 oooooolr 阅读(229) 评论(0) 推荐(0)
纪念一下学写pipeline时脑子里的坑
摘要: 用的是filespipeline,用的存储地址是images的地址 测试煎蛋ooxx首页,shell测试的时候返回很多列表,但是实际爬的时候一直只返回一条,很烦,一直测一直测,就是不行,后来才发现,首页已经刷新了就是只有一条。。。。 def file_path 写不好的话,会被def item_co 阅读全文
posted @ 2019-03-08 15:58 oooooolr 阅读(294) 评论(0) 推荐(0)
scrapy流程图
摘要: refer:https://blog.yongli1992.com/2015/02/08/python-scrapy-module/ 这里是一张Scrapy架构图的展示。Scrapy Engine负责整个程序的运行。Scheduler负责调度要访问的网址。Downloader负责从网络获取响应。Sp 阅读全文
posted @ 2019-03-08 13:36 oooooolr 阅读(350) 评论(0) 推荐(0)
改写pipeline
摘要: 为什么要改写方法:get_media_requests,他们的区别在哪里 refer: https://www.imooc.com/article/21840 这篇文章介绍了多种实例 如果文件名生成规则更加复杂,可以参考znns项目中的pipeline编写。他这里要根据路径生成多级文件夹保存图片,所 阅读全文
posted @ 2019-03-08 13:30 oooooolr 阅读(320) 评论(0) 推荐(0)
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3