摘要：
本文从方向导数的角度理解偏导数和梯度，厘清这几者之间的关系，即“导数是一个值，代表切线的斜率，而梯度是一个向量。最大方向导数的方向就是梯度代表的方向，最大的方向导数就是梯度的欧几里德范数”。 阅读全文
摘要：
学习卷积神经网络（CNN）过程中可能会遇到的问题，如 1×1 卷积核、感受野、global average pooling、深度可分离卷积。持续 update 中。。。 阅读全文
摘要：
本文简单介绍了什么是贝叶斯深度学习，贝叶斯深度学习应该如何进行预测和训练，贝叶斯深度学习和非贝叶斯深度学习有什么区别，最后提醒注意贝叶斯神经网络和贝叶斯网络是两个不同概念。本文对如何训练贝叶斯深度学习没有进行过多阐述，具体可以参考引用资料。 阅读全文
摘要：
给定一个分布 $p(x)$，计算机中如何进行采样？本文大致介绍了计算机中如何对均匀分布进行采样，并对离散分布和连续分布采样进行了简单介绍。本文不涉及 MCMC 和 Gibbs 采样。 阅读全文
摘要：
支持向量机（Support Vector Machine，简称 SVM）于 1995 年正式发表，由于其在文本分类任务中的卓越性能，很快就成为机器学习的主流技术。尽管现在 Deep Learning 很流行，SVM 仍然是一种很有的机器学习算法，在数据集小的情况下能比 Deep Learning 取得更好的结果。本文主要讨论线性 SVM，kernel 部分没有涉及。 阅读全文
摘要：
Git常用指令 阅读全文
摘要：
LaTeX 公式编辑可能需要的知识。 阅读全文
摘要：
熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉熵来计算两个分布的“距离”。KL散度和交叉熵很像，都可以衡量两个分布之间的差异，相互之间可以转化。本文将对熵、KL散度和交叉熵进行简单的介绍。 阅读全文
摘要：
在训练集上，神经网络越深，效果会越好吗？理论上是的，但传统神经网络做不到这一点。在神经网络的深度达到一定时，在训练集上，越深的网络效果可能越差，这就是退化问题。而ResNet可以处理这个问题。 阅读全文
摘要：
现在提到“神经网络”和“深度神经网络”，会觉得两者没有什么区别，神经网络还能不是“深度”（deep）的吗？我们常用的 Logistic regression 就可以认为是一个不含隐含层的输出层激活函数用 sigmoid（logistic） 的神经网络，显然 Logistic regression 就不是 deep 的。不过，现在神经网络基本都是 deep 的，即包含多个隐含层。Why？ 阅读全文