摘要：2016/5/23 星期一 11:00 电商主要做推荐 搜索主要做CTR 图像的话，主要应用DL 高斯混合就是： 1. 是一种无监督的聚类手段，而且是软聚类，即 给出的每一个 data 数属于各个类的概率 2. 拟合任意分布的概率密度函数 【观点】使用高斯分布拟合 任意分布 一般不作为单独任务，因为
阅读全文
posted @ 2016-05-25 18:24
05 2016 档案
摘要：2016/5/21 星期六 21:38 LSA pLSA LDA 本质都是矩阵分解 1. LSA 的奇异值分解 A = S·Σ·D，分解得到的是三个矩阵，操作一下，就是 S' = S·Σ D' = Σ·D 此时 S' · D' 仍旧能够得到 近似原始矩阵的值 # 或者这里的 Σ 全部取 Σ' 即 ：
阅读全文
posted @ 2016-05-25 18:22
摘要：2016/5/16 星期一 12:23 熵本身就是一个 泛函，p(x) 是概率密度函数，即是一个函数 H(x) = -Σp(x)·logp(x) # input is 函数，所以是 函数的函数 MaxEnt model，希望找到一个 概率分布，这个概率分布的熵最大，所以这是一个泛函问题 # 我以前的
阅读全文
posted @ 2016-05-25 18:19
摘要：使用LR 回归，找出谁的权重大， 1.比如 面积对房价的 权重大，那么就可以进一步细化： 比如 面积 这个因素很重要，那么就着重操作这个因素，比如细化等 比如 继续找：卧室面积，客厅面积，面积比例 ，平方，根号 等也作为 因素加进去 2.再就是还可以这么来，这些特征，比如size，或size平方，或
阅读全文
posted @ 2016-05-25 18:17
摘要：2016/5/8 星期日 12:36 D(p||q) = Σplog(p/q) = -Σplog(q/p) 因为 -log 是凸函数，且Σp=1，所以 上式 >= -log(Σp·q/p) = -log(Σq) = -log(1) = 0 所以相对熵（KL散度）一定是大于零的 古典概率 特点就是：
阅读全文
posted @ 2016-05-13 11:15
摘要：如果特征好，那么简单 的model 就可以了 不好操作才需要采用 NN model NN 层层可以可视化 sigmoid 层上可视化 通俗的解释： 其实就是：加了一个有用的特征 业务过程分析透彻了，就能提出：组合维度，造出非常贴近业务的特征 数据清洗与筛选特征的过程 使得你 了解业务 大多数样本对正
阅读全文
posted @ 2016-05-13 11:04
摘要：2016/5/7 星期六 22:46 即使用 岭回归或者 lasso 回归 它的思路就是使用了 次方很高的的方法 而不是 同时具有：W 正则化项 的约束 曲线拟合 ，即多项式回归 考虑的不是高维度，二十多个因子 而对于 X^2 可以视为 feature map，即也是一种 因素 即：new 特征啊
阅读全文
posted @ 2016-05-13 11:03
摘要：无约束优化 梯度下降法 深度梯度下降 牛顿法 有约束的优化： KKT条件（拉格朗日的扩充） 转换为凸优化，使用内点法求解，matlab cov 命令 这个符号 表示 半正定 和 正定 对于 scalar 来说，本身具有正负性，而对于 矩阵来说 与正负性对应的就是其 正定性 而不是 其对应 的行列式的
阅读全文
posted @ 2016-05-13 11:01
摘要：就是 到底有哪几个线索 是你所模糊的 关于方程解的个数 关于是否可逆 关于是否可以对角化 summary 判别式 是否能对角化 看来两个条件： 要么是 对称阵 要么是 特征值均不相同的方阵 summary 判别式 能否可逆 要么 det >0 要么 满秩 一定是对称阵，对称阵一定是方阵 正定矩阵一定
阅读全文
posted @ 2016-05-13 11:00
摘要：2016/5/4 星期三 14:19 定义式 判别式 必要条件 关系 韦恩图 相互独立 # 概率角度的定义 概率的定义 P(XY) = P(X)·P(Y) from 百度百科 即：有一个为不可能事件也是相互独立 P(Y|X) = P(Y) E(XY) = E(X)·E(Y) Var(X+Y) = V
阅读全文
posted @ 2016-05-13 10:58