02 2017 档案

摘要: 和普通的机器学习算法一样,DNN也会遇到过拟合的问题,需要考虑泛化,这里我们就对DNN的正则化方法做一个总结。 1. DNN的L1&L2正则化 想到正则化,我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似,这里重点讲述DNN的L2正则化。 而DNN的L2正则化通常的做法是只针阅读全文
posted @ 2017-02-27 14:20 刘建平Pinard 阅读(15392) | 评论 (4) 编辑
摘要: 在深度神经网络(DNN)反向传播算法(BP)中,我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差,而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢?下面我们就对DNN损失函数和激活函数的选择做一个总结。 1. 均方差损阅读全文
posted @ 2017-02-24 14:50 刘建平Pinard 阅读(34251) | 评论 (69) 编辑
摘要: 在深度神经网络(DNN)模型与前向传播算法中,我们对DNN的模型和前向传播算法做了总结,这里我们更进一步,对DNN的反向传播算法(Back Propagation,BP)做一个总结。 1. DNN反向传播算法要解决的问题 在了解DNN的反向传播算法前,我们先要知道DNN反向传播算法要解决的问题,也就阅读全文
posted @ 2017-02-21 12:36 刘建平Pinard 阅读(38979) | 评论 (110) 编辑
摘要: 深度神经网络(Deep Neural Networks, 以下简称DNN)是深度学习的基础,而要理解DNN,首先我们要理解DNN模型,下面我们就对DNN的模型与前向传播算法做一个总结。 1. 从感知机到神经网络 在感知机原理小结中,我们介绍过感知机的模型,它是一个有若干输入和一个输出的模型,如下图:阅读全文
posted @ 2017-02-20 15:08 刘建平Pinard 阅读(65030) | 评论 (24) 编辑
摘要: 对于分解机(Factorization Machines,FM)推荐算法原理,本来想自己单独写一篇的。但是看到peghoty写的FM不光简单易懂,而且排版也非常好,因此转载过来,自己就不再单独写FM了。 Pinard注:上面最后一句话应该是"而$g_{\theta}(x)$则利用$\widehat{阅读全文
posted @ 2017-02-06 14:06 刘建平Pinard 阅读(17215) | 评论 (37) 编辑
摘要: 在矩阵分解在协同过滤推荐算法中的应用中,我们对矩阵分解在推荐算法中的应用原理做了总结,这里我们就从实践的角度来用Spark学习矩阵分解推荐算法。 1. Spark推荐算法概述 在Spark MLlib中,推荐算法这块只实现了基于矩阵分解的协同过滤推荐算法。而基于的算法是FunkSVD算法,即将m个用阅读全文
posted @ 2017-02-04 15:55 刘建平Pinard 阅读(10565) | 评论 (16) 编辑
摘要: 在协同过滤推荐算法总结中,我们讲到了用图模型做协同过滤的方法,包括SimRank系列算法和马尔科夫链系列算法。现在我们就对SimRank算法在推荐系统的应用做一个总结。 1. SimRank推荐算法的图论基础 SimRank是基于图论的,如果用于推荐算法,则它假设用户和物品在空间中形成了一张图。而这阅读全文
posted @ 2017-02-03 15:56 刘建平Pinard 阅读(7695) | 评论 (16) 编辑