数据分析及数据可视化

一、数据分析总览

 

1） 数据采集

Requests、XPath、Pandas 是 Python 爬虫 的三个利器。当然做 Python 爬虫还有很多利器，比如 Selenium，PhantomJS，或者用 Puppeteer 这种无头模式。

火车采集器： http://www.locoy.com/
八爪鱼： https://www.bazhuayu.com/ ——自动抓取进行数据采集

集搜客：http://www.goo(敏感)seeker.com/

 

 

 2) 数据挖掘

 

3）如何进行数据可视化呢？

有两种方法。

第一种就是使用 Python。在 Python 对数据进行清洗、挖掘的过程中，我们可以使用 Matplotlib、Seaborn 等第三方库进行呈现。

第二种就是使用第三方工具。如果你已经生成了 csv 格式文件，想要采用所见即所得的方式进行呈现，可以采用微图、DataV、Data GIF Maker 等第三方工具，它们可以很方便地对数据进行处理，还可以帮你制作呈现的效果。

 

科学计算工具 NumPy 和 Pandas 库，深度学习工具 Keras 和 TensorFlow，以及机器学习工具 Scikit-learn.

我们常用的可视化视图超过 20 种，分别包括：文本表、热力图、地图、符号地图、饼图、水平条、堆叠条、并排条、树状图、圆视图、并排圆、线、双线、面积图、双组合、散点图、直方图、盒须图、甘特图、靶心图、气泡图等。

 

 

四、企业级可视化工具

吐血测评九款 BI 工具，BI 选型就看这篇（Tableau vs PowerBI vs superset vs DataEase vs ……）

如何选择BI工具：Power BI“向左”，Tableau“向右”

Tableu、PowerBI、FineBI、DataEase

开源：

DataEase（国内）：https://www.fit2cloud.com/dataease/index.html

国外：SuperSet、Metabase

付费：

• Power BI：微软。提供免费版本和付费版本（Power BI Pro和Power BI Premium）；

• Tableau：Tableau Software（现为Salesforce旗下）。免费版：Tableau Public 。https://www.tableau.com/zh-cn/support/help。

• 帆软（FineReport/FineBI）：（www.finebi.com/）国内非开源的数据分析产品。