摘要：1.scrapy工作原理 1.1组件介绍 调度器(Scheduler) ： 调度器实际上就是一个存取这待爬取URL的优先级队列，该队列集成过滤器及URL去重等功能 引擎(Scrapy Engine) ： 整个scrapy框架的核心，用于各组件间的协调及通信。 下载器(Downloader) ： 用于 阅读全文

摘要：1.为函数添加包装器 总是存在这样的场景，在一个函数执行前后需要做一些操作处理，常见于日志创建、权限认证或者性能分析等。但有一个问题存在，那就是被装饰的函数，其元信息会丢失，函数引用会 指向装饰器的返回值(函数)引用 这里介绍 模块下的 函数, 能够避免函数元信息丢失的情况发生, 保留原始函数的元数 阅读全文