小微数据分析相关的探索

起因
数据准备
工具选择：Dash和Power BI
数据连接
一些感想
补课
相关阅读

本文主要是对过去一段时间在小微数据分析（区别于大数据）方面的探索做一个回顾。在下这一亩三分地的随笔均以心得体会为主，没啥硬货（才疏学浅，应该会写错很多东西），本文也是如此。

起因

一开始接到了个统计科研数据的任务，意识到这个表格可能有一定的分析价值，出于好奇我又把手头其他业务数据也敲进了excel（不愧是摩尔庄园养猪都要excel分析的我），后来在老板的支持下我又拿到了更多事务的数据，手握这些表格，除了一开始针对单个事务分析，我还希望a. 把这些表连到一起成为一个系统，b. 交互性的分析，最好像网页那样能有一些hover效果。

数据准备

除了用爱发电辛苦敲进excel的数据，我还有学校现成信息系统里导出的需要进行处理的数据，另外用Selenium拿到了一些公开数据。呃，没想到这部分两三句就说完了，其实数据准备花了我大量的时间。数据处理自然是用pandas。

工具选择：Dash和Power BI

要开始可视化了，最先想到的就是导入画图包，matplotlib实在不那么好看，而且是静止的。经过一番冲浪，我选择了Plotly，顺便瞅到它们力推的产品Dash，一个低代码的数据App开发工具。我这个Vue官网每个字都能看懂但连起来就看不懂的前端巨白立马就心动了。实际体验下来它也并没辜负我的心动，我这点基础的HTML+CSS知识就完全够用了，官网文档里的sample、demo改改就完事儿了。它也有低代码工具都有的问题，就是自由度不是100%，难免有些生硬的地方，当然咱也不会造轮子还要啥自行车。

后来某一天我发现整那个dashboard其实接近于一种叫business intelligence的工作，想起之前在某处看过微软有个叫Power BI的软件，找来一看，好像和我想要的颇有几分接近。它的操作非常简单，只要手握一份想分析的数据，几乎不用面向浏览器就能知道该怎么做，花更少的时间，我就比之前用Dash得到了更多的分析（当然这里并没有贬低Dash的意思）。

Power BI由左边的数据、模型和报表三个部分组成。数据部分不仅实现了查询数据，还能进行pipeline一样的流水线处理，支持python脚本。模型部分在表格间建立关系，报表即可视化功能。这些功能对我来说崭新，其实早在我上初中的时候就在Excel里有了，我今天辛苦学会的别人十年前就玩烂，这种滋味不知如何形容。我还在微软官网瞥到Power全家桶，愿景是帮助企业低代码实现官网、应用的搭建和办公自动化等，好大一盘棋，这也提醒我Power BI一重被忽略的属性——低代码，查询建模可视化基本拖拉拽。

综合对比，Dash更灵活能实现更多，交互性更好，自然也更复杂，官网的应用中它常用在数据挖掘、机器学习等用途，毕竟天然就用的python（对不起忘了它也有别的语言版本），用它做商业分析也行，但在这方面成熟的BI软件会更适合。~~不过咱的初心还是用Vue造一个？~~

数据连接

其实之前漏了一部分，因为是我后来才知道的，把表格连在一起用的是sql里的表连接。我之前都是用pandas的按值查询，power bi里的关系也是稀里糊涂连上的。这一折腾发现到处都是要恶补的坑。

一些感想

首先，由于以上都是本门外汉用肤浅的大脑做出来的，我深感它存在很多局限。做可视化报表的时候，使用的分析方法都是对比分析，一定有其他专业的方法（并不是说对比分析就不专业了）；实现的都是定性分析，定量分析大概需要数据挖掘？手里的这点数据简直像个demo，我还没试着挖它；实现的都是各项业务的概览，还没有结合发展目标来分析，缺乏主线脉络。

接着，这些分析是否有意义，有多大的意义呢。第一个问题我想是肯定的，一方面展现了当前的情况，就像文明5点开顶上的状态栏看到的城市、科研、资源等状况一样（要不是老是在下一回合本文早就发出来了），另一方面一些异常点也让能让我发现问题；那么有多大意义呢，我也不好说，我不是老板只是一个急太监，报表中反应的问题最后能否改善我咋知道。

对上一段的补充。苹果的UIG里对图表的功能是这样阐述的：帮助人们完成数据驱动的任务，例如基于历史分析趋势、观察当前状态、评估异同。文章里还讲了其他重要的内容，请读者（如果有的话）自行阅读，文末附链接。

最后，我意识到我感兴趣的更偏向经营分析，数据分析只是过程并非目的。

补课

在以上探索的基础上，为了更专业，我花了一笔智商税冤枉钱报了个补习班，真心建议大家不要报数据分析相关的补习班，学习资料网上都有……

塘朗山边小房间