2016年3月11日

L2正则化方法

摘要: 在机器学习中,无论是分类还是回归,都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有 (1)减少特征,留取最重要的特征。 (2)惩罚不重要的特征的权重。 但是通常情况下,我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合,提高泛化能力。 先来看看L2正则化方法。对于之前梯度下 阅读全文

posted @ 2016-03-11 16:25 JustForCS 阅读(5911) 评论(0) 推荐(1)

正则化方法:L1和L2 regularization、数据集扩增、dropout

摘要: 正则化方法:防止过拟合,提高泛化能力 在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程的进 行,模型复杂度增加,在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大——因为训练 阅读全文

posted @ 2016-03-11 16:09 JustForCS 阅读(504) 评论(0) 推荐(0)

怎么来理解伽玛(gamma)分布?

摘要: Gamma分布即为多个独立且相同分布(iid)的指数分布变量的和的分布。(最新修改,希望能够行文布局更有逻辑)——————泊松过程——————指数分布和泊松分布的关系十分密切,是统计学中应用极大的两种分布。其中泊松过程是一个显著应用。泊松过程是一个计数过程,通常用于模拟一个(非连续)事件在连续时间中 阅读全文

posted @ 2016-03-11 09:25 JustForCS 阅读(21925) 评论(0) 推荐(1)

导航