摘要:
scrapy基于twisted异步IO框架,downloader是多线程的。但是,由于python使用GIL(全局解释器锁,保证同时只有一个线程在使用解释器),这极大限制了并行性,在处理运算密集型程序的时候,Python的多线程效果很差,而如果开多个线程进行耗时的IO操作时,Python的多线程才能 阅读全文
posted @ 2018-12-28 10:30
good_job
阅读(3721)
评论(0)
推荐(0)
2018年12月28日