大数据

  • 大数据
    全面而非抽样(不存在误差问题)
    效率而非精确
    相关而非因果(依靠数据自身判断而做决定)

  • 德尔塔准则
    正态分布3倍标准之外(概率小于0.3%)的数据,称之为异常值
    1倍标准差:68.3%
    2倍标准差:95.5%
    3倍标准差:99.7%
    在概率学上,小于5%即为不可能事件

  • 主元分析
    浓缩有效信息,摒弃无用信息
    集中力量解决主要矛盾,恰当处理次要矛盾
    人脸图像重构smile to pay 特征向量 由3600->48个

  • 数据清洗
    缺失值(插补/删除)、异常值(离群点检测)、前后矛盾不一致的值
    降维:
    1、零均值规范化:将原始数据变换到均值为0,标准差为1的分布中
    x=(x-x均值)/标准差
    2、最小最大规范化:X
    =(X-min)/(max-min),将数据落在[0,1]之间

回归分析:天气预报
神经网络:深度学习、宽度学习
多元统计分析:相随而动

posted @ 2026-06-12 15:11  愿鲁且愚  阅读(22)  评论(0)    收藏  举报