相关性与因果性:识别伪相关以提升模型在真实环境的可用性
相关性表示两个指标存在同步变动趋势,因果性则代表一件事直接促成了另一件事。两者之间有着一道需要用严谨论证来填补的鸿沟。测算相关性毫无门槛但是证明因果关系却极度困难。
本文将介绍我们为何习惯性地无视这道鸿沟,拆解变量同步变动却不具备因果关系的三种核心机制,并审视这些误区在数据科学领域的具体表现。阅读后你能在轻信某个数据模式前学会提出几个关键问题。
相关性到底是什么
相关性仅仅是一个衡量两件事同步变动程度的数值指标。
如果每年 7 月冰淇淋销量和溺亡人数同步攀升,这两个指标呈正相关(Positively Correlated)且趋势一致。
Tyler Vigen 在《伪相关》(Spurious Correlations)中收集了数百个类似案例。密苏里州(Missouri)家具抛光工的数量与 Google 上搜索“巴洛克·奥巴马(Baroque Obama)”的频次高度重合。
数学层面使用皮尔逊 r 值(Pearson’s r)对相关性进行量化打分,区间跨度为 -1 到 +1:
- +1 代表完全正相关,一个指标上升另一指标绝对按同比例增长
- -1 代表完全负相关,两者走势始终相反
- 0 表示毫无关联
![]()
单纯从数学角度看,相关性只能确认某种现象存在,对背后的成因却只字不提。
https://avoid.overfit.cn/post/3018a10cbd634a2099b3b7eb24fbb2bb


浙公网安备 33010602011771号