• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






good_job

 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理

2018年12月28日

scrapy效率提升篇
摘要: scrapy基于twisted异步IO框架,downloader是多线程的。但是,由于python使用GIL(全局解释器锁,保证同时只有一个线程在使用解释器),这极大限制了并行性,在处理运算密集型程序的时候,Python的多线程效果很差,而如果开多个线程进行耗时的IO操作时,Python的多线程才能 阅读全文
posted @ 2018-12-28 10:30 good_job 阅读(3721) 评论(0) 推荐(0)
 

2018年12月24日

pytube爬取youtube视频
摘要: pytube 有如下特色: 1. 它是 python 的一个轻量级库,不需要依赖第三方库,因此十分可靠 2. 允许选择下载视频的分辨率 3. 包含命令行工具,可以直接从终端下载视频 2. 安装 pip install pytube 3.库的使用 阅读全文
posted @ 2018-12-24 11:28 good_job 阅读(2597) 评论(0) 推荐(0)