摘要: 阅读全文
posted @ 2019-06-03 08:55 royce33 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 训练技巧对深度学习来说是非常重要的,作为一门实验性质很强的科学,同样的网络结构使用不同的训练方法训练,结果可能会有很大的差异。这里我总结了近一年来的炼丹心得,分享给大家,也欢迎大家补充指正。 参数初始化。 下面几种方式,随便选一个,结果基本都差不多。但是一定要做。否则可能会减慢收敛速度,影响收敛结果 阅读全文
posted @ 2019-06-03 08:44 royce33 阅读(468) 评论(0) 推荐(0) 编辑
摘要: 用法示例: 删除重复的数组元素 创建临时关联数组。设置关联数组值并发生重复赋值时,bash会覆盖该键。这允许我们有效地删除数组重复。 CAVEAT:需要bash4+ 示例功能: 用法示例: 随机数组元素 示例功能: 用法示例: 循环一个数组 每次printf调用时,都会打印下一个数组元素。当打印到达 阅读全文
posted @ 2019-06-03 08:43 royce33 阅读(1465) 评论(0) 推荐(0) 编辑
摘要: 做算法类读书笔记血泪总结!! 同步滚动:开 友情提醒, 以后在简书写文章标题不要出现"习"这个字, 无论是不是机器学"习"中的"习", 出现大概率会被禁, 需要审核!!!!! 学习的材料: 书 + 视频 +博客 要不要记笔记: 记笔记,记笔记,记笔记!!! 记笔记的目的: 笔记需要不断拿出来巩固, 阅读全文
posted @ 2019-06-03 08:33 royce33 阅读(232) 评论(0) 推荐(0) 编辑
摘要: 定理s 一、墨菲定律 观点:1.任何事都没有表面看起来那么简单;2.所有的事都会比你预计的时间长;3.会出错的事总会出错;4.如果你担心某种情况发生,那么它就更有可能发生。 墨菲定律的核心观点就4点,不算复杂,也不深奥,但它也确确实实存在于我们生活的方方面面,无论是谁,都无法逃脱这个定律。虽然我们无 阅读全文
posted @ 2019-06-03 08:31 royce33 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 最小二乘分类 本质, 分类问题用近似函数描述, 再用最小二乘法. 二分类问题: $y \in {+1, 1}$, 可近似定义为取值为+1, 1的二值函数问题: 预测输出$\hat y$: 其中, $f_{\hat \theta}(\mathbf x)=0$是小概率事件. 预测值$\hat y$由预测 阅读全文
posted @ 2018-08-17 10:21 royce33 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 鲁棒学习 最小二乘法易受异常值影响 异常值处理: 1. 提前剔除异常值再训练 2. 提高异常值的鲁棒性 鲁棒学习算法 1. $L_1$损失最小化 第$r_i$个样本的残差: L2损失随残差呈平方级增长: L1损失最小化学习较最小绝对值偏差学习$\hat \theta_{LA}$ L1损失LS受异常值 阅读全文
posted @ 2018-08-16 17:12 royce33 阅读(506) 评论(0) 推荐(0) 编辑
摘要: 稀疏学习 带约束的LS+交叉验证组合是非常有效的回归方法, 缺点是参数太多时求解耗时. 稀疏学习将大部分参数置0, 大大加速参数求解. L1约束的LS 稀疏学习使用L1条件约束: 其中, L1和L2对比: 以对于参数的线性模型为例对上图做分析: 训练误差$J_{LS}$是关于$\theta$的向下的 阅读全文
posted @ 2018-08-08 10:07 royce33 阅读(187) 评论(0) 推荐(0) 编辑
摘要: [TOC] 带约束条件的最小二乘法 单纯的最小二乘法容易过拟合, 带约束的最小二乘法能控制模型复杂度, 降低过拟合. 1. 部分空间约束的LS 含参线性模型, 使用全体参数空间: 将参数空间限制在一定范围内, 防止过拟合: P是$bxb$维矩阵,是P的值域$R(P)$的 正交投影矩阵 部分空间约束的 阅读全文
posted @ 2018-08-05 16:56 royce33 阅读(444) 评论(0) 推荐(0) 编辑
摘要: [TOC] 本文主要介绍 最小二乘法原理, 线性模型中的应用, 最小二乘解的本质以及在大规模数据集上的求解方法. 1. 最小二乘法介绍 对模型均方误差最小化时的参数$\theta$学习的方法. 均方误差: $$ J_{LS}(\theta) = \frac{1}{2}\sum_{i=1}^n(f_\ 阅读全文
posted @ 2018-08-05 15:59 royce33 阅读(167) 评论(0) 推荐(0) 编辑