青红*皂了个白

摘要： 此处采用函数执行鼠标滑动操作，最终完成动态数据的加载（懒加载） 原理：设置 一个空列表用于存储每次鼠标拖动后的瞬间页面最大高度。每次追加页面的最新高度 在每次拖动后，重新去获取一下，当前页面的最大高度 如果获取的页面最大高度等于了列表最后的那个最大高度，说明页面到底了，跳出循环。 否则会将当前获取的 阅读全文

摘要： scrapy框架的中间件主要有两个，一个是spiderMiddleware(爬虫中间件)，一个是DownloaderMiddleware(下载中间件) 通常由于在请求对象和相应对象数据在下载中间件就能处理好，一般不会去使用爬虫中间件。 下载中间件主要用到的方法有三个： process_request 阅读全文