随笔分类 -  机器学习

上一页 1 2
训练中文词向量
摘要：1. 首先是下载中文维基数据 wget https://dumps.wikimedia.org/zhwiki/latest/zhwiki latest pages articles.xml.bz2 2. 下载提取工具https://github.com/attardi/wikiextractor 3 阅读全文
posted @ 2018-01-28 12:18 狂徒归来 阅读(1428) 评论(0) 推荐(0)
TensorFlow L2正则化
摘要：TensorFlow L2正则化 L2正则化在机器学习和深度学习非常常用，在TensorFlow中使用L2正则化非常方便，仅需将下面的运算结果加到损失函数后面即可 阅读全文
posted @ 2017-12-25 11:46 狂徒归来 阅读(5016) 评论(0) 推荐(0)
TensorFlow batch normalize的使用
摘要：TensorFlow batch normalize的使用 batch normalize 经常与CNN搭配使用，据一些研究表面，在RNN层数不是很深的时候使用batch normalize是会用损害作用的。下面介绍下TensorFlow bath normalize的用法 直接把想normaliz 阅读全文
posted @ 2017-12-25 11:41 狂徒归来 阅读(3464) 评论(0) 推荐(0)
Tensorflow 自适应学习速率
摘要：Tensorflow 自适应学习速率 在模型的初期的时候，往往设置为较大的学习速率比较好，因为距离极值点比较远，较大的学习速率可以快速靠近极值点；而，后期，由于已经靠近极值点，模型快收敛了，此时，采用较小的学习速率较好，较大的学习速率，容易导致在真实极值点附近来回波动，就是无法抵达极值点。 在ten 阅读全文
posted @ 2017-07-02 13:02 狂徒归来 阅读(9812) 评论(0) 推荐(2)
Tensorflow 笔记 -- tensorboard 的使用
摘要：Tensorflow 笔记 tensorboard 的使用 TensorFlow提供非常方便的可视化命令Tensorboard，先上代码 首先是定义一张图，然后跑图。 这里需要注意一点是，FileWriter一定要在sess.run执行前先执行，也就是说，你得把 写在 之前。参数 表示的是你的 目录 阅读全文
posted @ 2017-06-07 14:24 狂徒归来 阅读(307) 评论(0) 推荐(0)
拉格朗日乘数法解含不等式约束的最优化问题
摘要：拉格朗日乘数法解含不等式约束的最优化问题 拉格朗日乘子法(Lagrange Multiplier)和 KKT(Karush Kuhn Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。当然，这两个方法求得的结果只是必要条件，只有当目标函数 阅读全文
posted @ 2017-03-20 14:49 狂徒归来 阅读(37015) 评论(3) 推荐(2)
EM算法以及推导
摘要：EM算法 Jensen不等式 其实Jensen不等式正是我们熟知的convex函数和concave函数性质，对于convex函数，有 $$ \lambda f(x) + (1 \lambda)f(y)\ge f(\lambda x + (1 \lambda)f(y)),\ where\ 0\le\l 阅读全文
posted @ 2016-12-16 19:22 狂徒归来 阅读(1401) 评论(0) 推荐(1)
梯度与梯度下降（上升）算法
摘要：梯度与梯度下降（上升）算法 方向导数与偏导数 设函数$z=f(x,y)$在点$P(x,y)$的某一领域$U(P)$内有定义。自点$P$引射线$l$。设$x$轴正向到射线$l$的转角为$\varphi$，并设$P'(x+\Delta x, y + \Delta y)$为$l$上的另一点且$P'\in 阅读全文
posted @ 2016-12-02 19:52 狂徒归来 阅读(671) 评论(0) 推荐(0)
TransH中的Hinge Loss Function
摘要：Hinge Loss Function Hinge Loss 函数一种目标函数，有时也叫max margin objective。 在Trans系列中，有一个 $$ \max(0,f(h,r,t) + \gamma f(h',r,t')) $$ 这样的目标函数，其中$\gamma 0$。为了方便理解 阅读全文
posted @ 2016-12-01 19:35 狂徒归来 阅读(1591) 评论(0) 推荐(0)
学渣笔记之矩阵的导数与迹
摘要：矩阵的导数与迹 矩阵的导数 ​ 对于一个将$m\times n$的矩阵映射为实数的函数$f: \mathbb{R}^{m\times n}\mapsto\mathbb{R}$，我们定义$f$对矩阵$A$的导数为 $$ \bigtriangledown_Af(A) = \begin{bmatrix}\ 阅读全文
posted @ 2016-05-31 14:14 狂徒归来 阅读(24671) 评论(4) 推荐(3)

上一页 1 2