摘要： 内部集成twisted的异步网络框架 5部分（一般写spider和pipline）： spider(定义爬取位置 start_urls,解析返回的数据 response) engine(调度其他部门的中介部门) scheduler（request对象的入列和出列） downloader（下载数据） 阅读全文