数据分析笔记

数据分析思维和方法

职业认知

数据分析概述与职业操守

概述

数据分析是将数据转变成有效信息的过程。
数据分析可以给决策者在运营过程中提供策略的决策依据，特定的分析维度可以帮助运营做出有效的决策，有效的决策可以提高项目的成功率。

数据给运营的作用

运营方向更清晰

决策更精准

成功率更高

数据是客观的事实，但是数据本身并不会告诉人们它的价值，其中蕴含的信息需要分析师进行挖掘并发现。

数据分析标准流程：

明确目标
明确分析维度和指标
数据采集
数据清洗
数据整理
数据分析
数据可视化
数据报告

职业操守

对于数据产权，用户的利益和机构的利益置于个人利益之上。
保护数据资产的安全性、真实性、可靠性（要说明使用了什么科学的方法）。
不参与任何违法行为；不使用或滥用他人产权；不宽恕或帮助他人违法。
应全面了解业务背景、痛点、需求。获取符合要求的源数据。
根据业务需要，选择合理的工具、平台、系统及算法。
不断迭代并优化业务指标与数据模型。
做出具有商业价值的建议，并使其可视化。
按时按质完整交付，并对相关数据和代码保密。
履行后期义务和责任，给出指导意见。

大数据的相关法律法规

在大数据环境下，作为生产资料的数据资源具有数据量巨大、数据变化快等特征，会导致大数据分析及应用场景更为复杂，因此必须遵守一定的法律法规以及道德标准。

数据采集的法律问题
提供产品给用户从而采集数据的，对于收集的主体有明确限制。在收集页面公开数据方面，对于主体没有明确限制。

数据应用的法律问题
应用收集到的数据必须遵循以下原则：

明示同意
用途确定
安全保密
境内存储

相关罪刑的法律规定
我国的多部法律法典中明确定义了一些罪刑，在爬虫作业的过程中，应避免触碰数据合规红线。

非法获取计算机系统数据罪
侵犯商业秘密罪
非法侵入计算机信息系统罪
网络安全法
民法总则
侵犯公民个人信息罪

数据分析概念与思维

数据分析概念

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
其中，数据也称为观测值，是实验、测量、观察、调查的结果。

数据分为两种：定性数据和定量数据

定性数据是对特定情况或事物作特别的解释；而定量数据是对各种环境中的事物作出带有普遍性的解释。

定性数据又被称为品质数据，它分为定类数据和定序数据两类。
定量数据又被称为数量数据，它分为定距数据和定比数据两类。

区分定距数据和定比数据的一个标准是“0”，比如0度是一个客观数据，他就是一个定距数据，而像0额度就是一个定比数据。

数据分析思维

在数据分析中，含有对比/对照、拆分/细分、降维、增维、假说五大思维。

对比/对照
只有通过和其他观测值的比较，才能知道什么是优、什么是劣。

拆分/细分
由大变小的过程，将问题拆解成若干部分。

降维
减少分析的指标，可通过指标间的关系有选择性减少，以提高模型的精度。

增维
增加分析的指标，一般要看具体情况需要换算出新的指标。

假说
假说是统计学的基础概念，先对结果做假设，再验证结果是否成立。

数据分析方法论

基本方法论

常用的基本方法如下：

分析方法	使用场景
对比法	发现问题
拆分法	寻找问题的原因
排序法	找到分析的重点
分组法	洞察事物特征
交叉法	将两个及以上的维度进行比较，并通过交叉的方式分析数据
降维法	解决复杂问题
增维法	解决信息量过少的问题
指标法	基本方法，可支持多字段
图形法	基本方法，对分析字段有数量限制

在实战过程提炼的应用方法，融入了统计方法、市场营销方法、数据清洗方法、数据挖掘方法，包括SWOT分析法、描述性统计法、数据标准化、熵值法、漏斗分析法、矩阵分析法、多维分析法、时间序列分析法、相关性分析法、杜邦分析法等。

我们先学习其中四种：

漏斗分析法

漏斗分析法师结合了流程分析的方法，更加强调事件的发展过程，按事件发展的过程分析问题，属于数据分析中的方法。
它能够科学反映用户行为状态，以及从起点到终点各阶段用户转化率的情况，是数据分析中重要的分析模型。
漏斗分析法已经广泛应用于网站用户行为分析和App用户行为分析的流量监控、产品目标转化等日常数据运营与数据分析工作中。

漏斗分析法实例:

确定业务流程，各个环节的量纲必须一致。
确定数据。
画图

漏斗分析法实例

矩阵分析法

矩阵分析思维是指通过对原始感性材料进行矩阵般的分析与规整，形成全面、系统、严谨、专业并具有很强逻辑性和关联性的理性思想，从而有助于形成正确思考、研究、决策等高层次思维的思想方法，是一种纵横交叉的逻辑研究方法。此思维被广泛应用，比如在工程管理上将各种任务分为重要并紧急、重要不紧急、不重要紧急和不重要不紧急这四类，四类任务分别在矩阵图的四个象限。

工程管理矩阵分析

矩阵分析法实例：

分别计算出支付金额和访客平均价值的平均值。
选中支付金额和访客平均价值，创建散点图。
根据两个指标的均值设置X轴和Y轴的交点。

矩阵分析法实例

ABC分析法

ABC分类法又称帕雷托分析法，也叫主次因素分析法，是项目管理中常用的一种方法。它是根据事物在技术或经济方面的主要特征，进行分类排队，分清重点和一般，从而有区别地确定管理方式的一种分析方法。由于它把被分析的对象分成A、B、c三类，所以又称为ABC分析法。
ABC法则是帕累托80/20法则衍生出来的一种法则。所不同的是，80/20法则强调的是抓住关键。

在ABC分析法中，先将目标数据列倒序排序，然后做累积百分比统计，最后将得到的累积百分比按照下面的比例值划分为A、B、c三类。

A类因素:发生累计频率为0%~80%，是主要影响因素。
B类因素:发生累计频率为80%~90%，是次要影响因素。
c类因素:发生累计频率为90%~100%，是一般影响因素。

ABC分析法实例：

杜邦分析法

杜邦分析法是利用几种主要财务比率之间的关系来综合分析企业的财务状况。具体来说，它是一种用于评价公司赢利能力和股东权益回报水平，从财务角度评价企业绩效的经典方法。其基本思想是将企业净资产收益率逐级分解为多项财务比率的乘积，这样有助于深入分析、比较企业经营情况。由于这种分析方法最早由美国杜邦公司使用，故名杜邦分析法。

杜邦分析法是对比法和拆分法的经典应用，是一种用来评价企业盈利能力和股东权益回报水平的方法，它利用主要的财务比率之间的关系来综合评价企业的财务状况。

杜邦分析法