大数据
-
大数据
全面而非抽样(不存在误差问题)
效率而非精确
相关而非因果(依靠数据自身判断而做决定) -
德尔塔准则
正态分布3倍标准之外(概率小于0.3%)的数据,称之为异常值
1倍标准差:68.3%
2倍标准差:95.5%
3倍标准差:99.7%
在概率学上,小于5%即为不可能事件 -
主元分析
浓缩有效信息,摒弃无用信息
集中力量解决主要矛盾,恰当处理次要矛盾
人脸图像重构smile to pay 特征向量 由3600->48个 -
数据清洗
缺失值(插补/删除)、异常值(离群点检测)、前后矛盾不一致的值
降维:
1、零均值规范化:将原始数据变换到均值为0,标准差为1的分布中
x=(x-x均值)/标准差
2、最小最大规范化:X=(X-min)/(max-min),将数据落在[0,1]之间
回归分析:天气预报
神经网络:深度学习、宽度学习
多元统计分析:相随而动
浙公网安备 33010602011771号