数据分析杂谈

注:本文同步发布于微信公众号:stringwu的互联网杂谈 数据分析杂谈
笔者只是一个客户端工程师,不是专业的数据分析师,只是碰巧在工作中与数据打交道比较多,做过客户端的数据传输SDK,客户端无埋点SDK,写过hive脚本,也折腾过spark,也做过不同通道数据的差异分析,仅此而已。本文试图从笔者自身有限的经历中,给大家普及些数据分析的入门知识。

分割线
——————————————————————————

什么是数据分析?数据分析说白了就是让数据变成生产力的一部分,是从海量的数据中窥视背后的业务逻辑,寻找出新的业务增长目标,或者及时发现业务潜在的问题。数据分析其实是服务于业务需求的,脱离了业务需求的数据分析就是在“打黑工”。

本文会尝试从数据分析的流程,分析技能,名词,指标体系,分析方法,商业化模型几个方面简要介绍数据分析涉及到一些知识。

1 数据分析流程

数据分析流程是一个思维框架,主要帮助和指导我们如何去做数据分析。目前业务数据分析标准流程为CRISP-DM(Cross-industry standard process for data mining) 数据分析wiki;整个分析流程分为六个部分

  • 业务理解(business understanding)
  • 数据理解(data understanding)
  • 数据准备(data preparation)
  • 建立模型(modeling)
  • 评估模型(evaluation)
  • 部署(deployment)

1.1 业务理解

业务理解核心是理解业务的背景,并评估分析需求是否可落地为数据分析项目。比如如果想要分析push的到达率,则需要理解消息在整个push系统会经过哪几个路径,从在线push到第三方离线push,从客户端收到push消息,到push消息的处理,再到push消息的展现,这里的每一个行为路径都可能会引起到达率的变化。理解了push系统的运行机制,才有可能对push的到达率去进行分析落地。

1.2 数据理解

  • 数据收集:抽取的数据必须能够正确反映业务需求,否则分析结论会对业务造成误解
  • 数据清洗:原始数据中存在数据缺失和脏数据,如果不处理会导致模型失效,因此对数据通过过滤“去噪”,从而提取出有效数据;
    还是以push到达率的分析为例子,数据收集则是收集到达每个路径时的push消息的数据,并且能用唯一标识对push在路径上的表现进行串联。

1.3 数据准备

  • 数据探索:通过统计方法对数据进行处理分析,发现数据内部的规律;
  • 数据转换:为达到模型的输入数据要求,需要对数据进行转换,包括生成衍生变量、一致化、标准化等;

如特征描述,分布特性

1.4 建立模型

  • 选择方法、工具、建立模型:综合考虑业务需求精度,数据情况,成本等因素,选择最适合的模型,在实践中对于一个分析目的,往往需要运用多个模型,然后通过后续的模型评估,进行优化、调整,以寻求最合适的模型;
    如:
    • 分析与回归:svm算法,
    • 聚类分析
    • 关联分析
    • 时序模型
    • 结构优化

1.5 模型评估

  • 建模过程评估:对模型的精度、准确性、效率和通用性进行评估;
  • 模型结果评估:评估是否有遗漏的业务,模型结果是否回答了当初的业务问题,需要结合业务进行评估;

1.6 应用

  • 分析结果应用:将模型应用于业务实践,才能解决业务问题,并实现数据分析的真正价值
  • 分析模型改进:对模型应用效果的及时跟踪和反馈,以便后期的模型调整和优化;

所有的数据分析问题,不管是技术数据,还是产品数据都可以按照这个流程去进行分析,该流程可以很清晰地指导每一步需要做什么,不会毫无头绪,不知道从哪里入手去进行分析;

2 常用名词

  • ROI(return on investment):投资回报率
  • LTV(life time value):用户生命周期价值(用户在使用应用时能贡献多少收入)
  • ARPU(average revenue per user) :每个用户的平均价值
  • CTR(click through rate) :点击通过率(点击/曝光)
  • CPM(cost per mille) : 广告千次曝光成本
  • CPC(cost per click) :点击成本
  • CPA(click per action) :一个动作的点击成本

3 数据指标体系

数据指标体系是指针对一种具体的业务场景,为了完成该场景的分析目标(分析问题和解决问题),搭建的技术体系,将业务的不确定性的描述转化为确定性的数据描述。
我们在建立数据指标体系时,最好需要包含一个指标文档,文档里需要有以下内容:

  • 指标:说明这是什么指标,如点击通过率;
  • 指标口径:该指标是怎样统计出来的,数据来源是哪里;
  • 代码计算:核心的sql语句
  • 备注:某些事项的文档化,如指标口径更改等;
  • 责任人:该指标是谁负责的,可包括具体的产品,研发,数据分析的同学;

3.1 互联网常见的指标体系

3.1.1 基础指标

  • 日活 :每日活跃的用户数(设备数),可区分UV 和PV
  • 新增 : 每日新增的用户数(设备数);
  • PV (page visit) :用户每浏览一次,则记录为一个PV,同一用户多次浏览会记录多个PV
  • UV (user visit) : 一个用户浏览算一次UV,同一用户多次浏览只会记录一个UV;
  • 时长和次数:如单次访问时长,人均访问时长,人均访问次数
  • 留存率:次日留存、7日留存、30日留存;

3.2.1 内容指标

  • 请求数 : 每天该内容的请求数;
  • 曝光数 :每天该内容的实际曝光数(用户可见)
  • 点击数 :用户对该内容的互动点击数
  • 评论 :用户对该内容的互动评论数
  • 分享 :用户对该内容的互动分享数
  • 点赞:用户对该内容的互动点赞数

3.2.2 渠道指标

  • 有效新增 : 每个渠道带来的实际用户数;(如通过该渠道进行首次注册,登录等行为)
  • 留存率(次日留存,7日留存,30日留存):主要用来评价该渠道的质量
  • 渠道单价 : 每带来一个用户的实际支付价格;
    我们可以根据这几个指标去衡量一个渠道的好坏,在投放时根据渠道的质量,对优质渠道增加投放,减少甚至不投放劣质的渠道。

4 数据分析技能

数据分析需要具备一定的理论知识和分析思维

4.1 理论知识

  • 概率相关:独立事件、相关事件、期望、贝叶斯等
  • 概率分析:离散概率分布,连续概率分布;
  • 统计推断:置信区间、假设检验、抽样

4.2 分析思维

  • 漏斗思维 :
  • 分类思维 : 对用户进行划分,如根据年龄,地域,爱好等进行划分分析;
  • 平衡思维
  • AB test : 实验行为;

5 分析框架与方法

5.1 数据分析方法

  • 结构分析法:如按人群划分;
  • 对比分析:同比,环比,需要有对应的柱状图;
  • 时序序列分析:按照事件时间分析,对应折线图;
  • 密度分布:服务什么分布,对应的分布图;
  • 相关分析法:如留存率与文章质量,对应散点图 + 折线图

5.2 数据分析模型

5.2.1 RFM模型

RFM(Recency,Frequency,Money)模型一般是用于筛选出需要重点运营的用户:

  • Recency:最近一次消费时间 ,一般以周或双周为单位
  • Frequency : 消费频率,固定周期的消费次数,一般以月或者双月为单位;
  • Money:消费的金额,一般以月或者双月为单位

一般可以通过对RFM数据进行标准化标准化,把RFM模型变为打分模型,通过可以有效圈选出可持续运营的高质量用户

5.2.2 AARRR模型

  • Acquistion :获取(渠道分析,用户如何发现你的产品)
  • Activation :激活(启动运营分析,用户第一次使用体验如何)
  • Retention:提高留存:(留存分析,用户是否会重复使用产品)
  • Revenve :收入(商业化分析,怎样赚钱)
  • Reter : 自传播(裂变分析,用户是否愿意告诉其他用户)

作用:找到增长的切入点,拉新,提频,收入;

5.2.3 用户生命周期模型

  • 导入期 :已完成注册,但还没有深入体验产品功能或服务的用户(可通过登录次数和访问时长等指标是衡量)
  • 成长期:已经较深入体验产品相关的服务或功能,并完成首次关键行为的用户(关键行为可以是一个下载,一个互动,视业务而定);
  • 成熟期:已经发生多次付费行为的用户(每个用户价值的巅峰,能贡献最多的活跃时长和营收)
  • 休眠期:曾经是成熟用户,但一段时间内未产生有价值的行为(有价值的行为也视业务而定,可以是下载,互动,付费等行为);
  • 流失期:超过一段时间未登录和访问的用户(视业务形态而定,需要明确流失定义和关键行为,如超过一个月未登录等)

可以通过对用户行为数据的分析,对用户进行分类,进而视当前产品所处阶段,采用不同的运营手段;

6 总结

本文只是笔者在工作时,作为业余的爱好进行的学习总结,相对比较基础,可视为小白了解数据分析的一个参考文章。如果需要深入数据分析领域还需要专门的系统化学习。

posted @ 2020-09-19 19:42  woodWu  阅读(106)  评论(0编辑  收藏