「学习小组第3周 3课」之主流的数据埋点采集方案学习
1.基础的埋点理论
举个栗子:
SELECT date`日期`, count (DISTINCT uid) `商品点击UV` from table where date ='20180921' and event_id = 'a1234'
通过这个sql,我们很容易拿到数据,计算商品的各个参数
埋点的三个方面:
- 触发条件的设置
- 映射关系的管理
- 采集上报规则的处理
还记得上周的触发条件,比如滑动,刷新,翻页,返回,唤醒.每一个操作都可以记录为埋点,对于埋点操作我们要慎之又慎,否则会影响实际效果. 所以我们在处理埋点问题的时候要考虑这三个方面.
不符合的典型案例:
无埋点方案(缺点是)
- 一视同仁的触发条件设置，使得无法满足更多的特殊埋点场景；
- 混乱且单一的映射关系管理，扩展性能很差；
2.主流埋点学习渠道(4+6)
- Google Analytics
- 百度统计
- 友盟+
- 神策数据
- BATTMD……
2.1 神策数据官方文档(SENSORS Data)
2.1.1 神策分析是什么
含义:
神策分析，针对企业级客户,深度用户行为分析产品，支持私有化部署，客户端、服务器、业务数据、第三方数据的全端采集和建模，驱动营销渠道效果评估、用户精细化运营改进、产品功能及用户体验优化、老板看板辅助管理决策、产品个性化推荐改造、用户标签体系构建等应用场景。作为 PaaS(PaaS,Platform as a Service,平台即服务) 平台支持二次开发，可通过 BI、大数据平台、CRM、ERP 等内部 IT 系统，构建用户数据体系，让用户行为数据发挥深远的价值。
优势:
- 可私有化部署
产品核心设计理念,并可进行功能二次开发 - 基础数据采集和建模
实现同一个用户不同来源数据的打通——随着互联网的发展越来越深入，一个用户在同一个产品上的行为数据，已经需要从多个不同的来源进行采集。这些来源包括 iOS、Android、Web、H5、小程序、业务数据、历史数据、第三方数据等。针对客户的全端数据采集，将同一个用户在不同来源的数据打通的需求，神策数据提供代码埋点、全埋点、导入工具等方法把数据接入神策分析。同时，为了解决跨屏贯通一个用户的问题，神策数据也提供用户 ID-Mapping 方面的解决方案。 - 实时多维度分析
任意维度下钻,存储最细粒度的用户行为明细数据,提供api接口和二次开发 - PaaS平台深度开发
标准需求可直接使用神策分析,个性化需求可进行二次开发
解决企业哪些问题(为什么选神策):
- 业务痛点
- 营销分析断层---准确分析ROI
- 产品迭代无法量化---实时用户分析能力
- 用户运营不精准---解决千人一面和投其所好,定点投放
- 全局运营指标监控不实时---有BI系统,但未形成核心的指标预警机制,决策落后
- 技术痛点
- 自建平台成本高
- 日常配合效率低
- ETL工作繁杂
- 共性需求重复开发
- 支持产品进行功能评估提升转化率
- 支持运营进行用户分群实现精准营销
- 支持渠道把控拉新的“量”与“质”
- 为数据采集技术人员提供解决方案
2.1.2 电商分析案例__神策(墙裂推见!!!)
产品核心流程:
启动 App - 浏览首页 - 浏览商品详情页 - 加入购物车 - 提交订单 - 支付订单
神策分析的数据来源:
前后端 SDK 接入，外部数据导入工具，及API 导入.
神策分析的数据安全:
除了 SaaS 版服务数据存储位置由神策提供之外，对应于私有化部署单机版/集群版服务，数据均存储于客户的服务器上。并且神策不会提供神策所服务过的客户的用户数据，搭建用户标签体系，用于精准营销推送。
同时，在技术实现上通过各种角度保证客户数据的安全性（相关博客链接）。例如:
- 支持使用 HTTPS 作为传输协议
- 对传输内容加密
- 后端采集神策不会暴露客户数据
- 采集后再 antispam
2.1.3 行为分析常用名词
维度:
维度描述的是一个事物身上所具备的特征或属性。比如一个人属于什么性别，生活在哪个城市，喜欢什么颜色，这些都是这个人身上所具备的属性特征。
而在网站分析领域，维度往往用来描述和分析指标，比如单一的访问数指标并不能告诉你太多信息，一旦加上来源这个维度，就马上变得有意义了。
指标:
指标，即具体的数值。比如访客、页面浏览量、停留时长都属于常见的指标。
指标一般可分为计数指标和复合指标。计数指标如访客、访问、页面浏览量、停留时长等；复合指标如跳出率、访问深度、转化率等。指标一般伴随维度来分析才有更大的意义。
常用的有总次数,触发用户数,人均次数.
展示和点击:
展示，指页面上元素的曝光次数。点击，指页面元素被用户点击的次数。
这两个指标主要适用于线上广告投放，比如评估投放在新浪首页的品牌广告，展示了多少次，点击了多少次。
访客:
英文为 Visitor，通俗解释为访问网站或 App 的人。前面加上 Unique 后，即我们平常说的 UV，唯一身份访客。
对于数据统计工具而言，一般用匿名 ID 来标记访问者，网页端产品是 Cookie（网站服务器投放在用户浏览器上的一小段文本），App 端产品是设备 ID。
访问:
即 Visit，网页端产品常用概念，指用户一系列连续的页面浏览行为，跟会话 Session 同义。随着移动互联网的崛起，考虑到 App 的使用，Session 慢慢代替 Visit 成为主要用词。
业界对于 Session 内行为间的间隔设定了有效期限，网页端产品为 30 分钟，App 端产品时间较短，一般为 1 分钟。
页面浏览量:
PageView，即 PV，指页面被用户浏览的次数，严格定义上指的是用户向网站发出并完成的一个下载页面的请求。
页面浏览的概念主要适用于网页端产品，对于 App 的分析，现主要使用屏幕浏览，即 ScreenView。
跳出率:
BounceRate，一个衡量落地页质量好坏的重要指标。跳出的概念是指用户在一次访问中仅做了一次互动便选择了离开，单一页面和全站均有跳出率的概念。
页面跳出率的计算为该页面作为落地页跳出的访问次数占该页面作为落地页访问次数的百分比。全站跳出率则为跳出的访问次数除以总的访问次数。
停留时长:
对应于用户 Session，便有了停留时长指标，主要用来衡量用户与网站、App 交互的深度。交互越深，相应停留的时长也越长。
一般有页面停留时长，会话时长以及平均停留时长等概念，其计算的核心原理在于记录下用户行为发生时的时间戳，后期再应用相应公式来计算。
转化率:
任何产品都需要关注的核心指标，主要用来衡量用户从流量到发生实际目标转化的能力。
一般用目标转化的次数或人数除以进入目标转化漏斗的人数或次数，因目标行为的不同，转化率是一个非常灵活的指标，比如你可以自定义注册转化率、登录转化率、购买转化率、搜索成功转化率等。
2.1.4 可视化全埋点
2.1.5 数据采集:客户端埋点,服务端埋点,工具导入
客户端埋点直接使用神策客户端SDK,或者是已有的业务API和SDK.
服务端埋点考虑直接发送数据的Customer和写入本地日志的Customer.
工具导入用到再看.
补充:SDK和API区别
2.1.6 埋点管理
2.1.7 其他神策使用手册
2.2 其他埋点方案
看到时候再补充。
3.推荐资料
- DAMA数据管理知识体系指南；
- 大数据之路_阿里巴巴大数据实践
- Android 全埋点解决方案
- 神策分析使用手册：https://www.sensorsdata.cn/manual/
- 友盟_文档中心：https://developer.umeng.com/docs
- 书籍《SQL必知必会》//会SQL的绕过忽略
4.其他
Q:数据埋点延迟上报怎么处理？
A_小姬：这种情况分为两部分思考:
a、优化SDK上报策略，提高数据上报率；
b、延迟上报的数据怎么处理。
a、优化SDK上报策略，提高数据上报率；首先，我们要弄清楚上报率有多少，通常的做法就是对每个埋点事件额外加一个序号，或者对埋点采集数据加个计数器。当用户埋点出发需要上报数据的时候，我们记下这个是第几个，累计有多少个埋点数据了。然后根据得到的数据排查序号是否连续有遗漏，计数器的累计额是否和事实一致，通过对比数据我们就可以计算出埋点数据的上报率。优化埋点上报率的方案也不是很多，主要的还是提高上报频次，无限的接近实时上报，比如每3分钟上报一次，优化为每1分钟上报一次，每5秒钟上报一次，没3秒钟上报一次。以现在的网络条件是非常有可能做到实时上报的。另外就是对App启动，退至后台等关键动作做好数据上报，当App启动的时候上报前一次未上报的数据，当App退至后台的时候上报一次数据。
b、延迟上报的数据怎么处理。如果埋点数据的量级不是很大，可以观察延迟数据的影响周期和范围。选择回溯数据xx天作为办法，每天重新计算N天以前的历史数据，这样带来的影响就是每天都要忍受数据的变动。当然，大部分公司是不会选择这个办法的，因为数据是拿来验证问题的，很多时候抽样做数据分析本身就具备数据价值，更不必说延迟上报的数据仅是少量，还是埋点数据，并非更加严格的订单交易数据。
