上一页 1 ··· 350 351 352 353 354 355 356 357 358 ··· 385 下一页
摘要: https://zhuanlan.zhihu.com/p/64510355 逛超市的时候,面对货架上琳琅满目的商品,你会觉得这些商品的摆放,或者不同品类的货架分布是随机排列的吗,当然不是。 应该都听说过啤酒与尿布的故事,这两个表面上毫不相关的商品,在超市中摆放在一起时二者的销量都大幅度提升。这里不论 阅读全文
posted @ 2020-05-22 11:34 秋华 阅读(3188) 评论(0) 推荐(0)
摘要: https://zhuanlan.zhihu.com/p/102567707 ​前一段介绍过一个客户购买频次统计的案例: Power BI 数据分析应用:客户购买频次分布。 我并没有在文章中显示总计行,但有细心的星友学习时发现,如果把总计行显示出来,会出现没有数据或者即使有数据,也是错误的情况,就像 阅读全文
posted @ 2020-05-22 11:30 秋华 阅读(1827) 评论(0) 推荐(0)
摘要: https://zhuanlan.zhihu.com/p/100070260 商业数据分析通常都可以简化为对数据进行筛选、分组、汇总的过程,本文通过一个实例来看看PowerBI是如何快速完成整个过程的。 假设数据为一个订单明细表,含有下单日期、客户名称、产品名称等数据,业务需求为: 根据订单表,计算 阅读全文
posted @ 2020-05-22 11:20 秋华 阅读(2912) 评论(0) 推荐(0)
摘要: https://zhuanlan.zhihu.com/p/57763423 通过简单的点击交互,就能进行动态分析发现见解,才是我们需要的,恰好这也是 PowerBI 所擅长的。 就帕累托分析来说,能从不同的角度快速发现关键因素、以及可以动态设定关键因素的阈值,就是我们需要的。本文通过一个示例来看看如 阅读全文
posted @ 2020-05-22 11:15 秋华 阅读(2807) 评论(0) 推荐(1)
摘要: 偏差 (Deviation) 有序条形图 (Ordered Bar Chart) 有序条形图有效地传达了项目的排名顺序。 但是,在图表上方添加度量标准的值,用户可以从图表本身获取精确信息。 https://datawhalechina.github.io/pms50/#/chapter15/chap 阅读全文
posted @ 2020-05-21 22:48 秋华 阅读(1038) 评论(0) 推荐(0)
摘要: Scraper刮取器 对ExecutionEngine执行引擎篇出现的Scraper进行展开。Scraper的主要作用是对spider中间件进行管理,通过中间件完成请求、响应、数据分析等工作。 Scraper对象 scrapy/core/scraper.py#Scraper: class Scrap 阅读全文
posted @ 2020-05-21 19:27 秋华 阅读(901) 评论(0) 推荐(0)
摘要: Scheduler调度器 对ExecutionEngine执行引擎篇出现的Scheduler进行展开。Scheduler用于控制Request对象的存储和获取,并提供了过滤重复Request的功能。 Scheduler对象 scheduler对象是通过类的from_cralwer方法生成的。scra 阅读全文
posted @ 2020-05-21 17:45 秋华 阅读(432) 评论(0) 推荐(0)
摘要: ExecutionEngine执行引擎 上一篇分析了CrawlerProcess和Crawler对象的建立过程,在最终调用CrawlerProcess.start()之前,会首先建立ExecutionEngine执行引擎,执行其open_spider和start方法。 ExecutionEngine 阅读全文
posted @ 2020-05-21 14:56 秋华 阅读(602) 评论(0) 推荐(0)
摘要: CrawlerProcess主进程 它控制了twisted的reactor,也就是整个事件循环。它负责配置reactor并启动事件循环,最后在所有爬取结束后停止reactor。另外还控制了一些信号操作,使用户可以手动终止爬取任务。 此类在scrapy/crawler.py中定义,此模块有三个类:Cr 阅读全文
posted @ 2020-05-21 14:46 秋华 阅读(1552) 评论(0) 推荐(0)
摘要: 前言 虽然爬虫的入门级编写并不难,但要让爬虫真正稳定可靠的运行起来,真不是一件容易的事。首先,要用到scrapy,就必须要读懂scrapy这个爬虫框架,如果连这个框架的执行逻辑都搞不懂,那么爬虫也很难写好。 1.命令行启动 这里先不谈使用了各种框架的复杂情况,比如scrapyd服务、redis分布式 阅读全文
posted @ 2020-05-21 14:07 秋华 阅读(941) 评论(0) 推荐(0)
上一页 1 ··· 350 351 352 353 354 355 356 357 358 ··· 385 下一页