摘要： 自己开发一套配置型爬虫，前2日一直对效率不高有极大疑惑，为什么不高！网速肯定是一方面的原因，但自身程序也肯定是有一方面的原因。原来是并发请求一个网站惹的祸。在设计的时候，追求完美，一个进程（主进程）里会启动多个子进程（每个配置的网站的抓取进程），每个子进程可配置多个线程，想法就这样。所有功能都实现以后，发现有的网站很爱给我返回错误页面，而有的网站正常。于是检查原因，对经常出现错误的网站又进行断点测试，又在服务器上新配置特殊抓取，总也发现不到错误，一切正常啊，为什么在生产环境就错误。查日志对方服务器返回503错误。各种403，404的错误，爬虫开发我早已不信这些个返回码了，很多人喜欢欺骗开发爬虫 阅读全文