随笔分类 -  NLP

摘要：目录有监督学习含义回归单元线性回归含义代价函数梯度下降法将梯度下降法与代数函数结合在一起多元线性回归含义多元假设函数多元代价函数多元梯度下降法将多元梯度下降法与代数函数结合在一起特征缩放啥是特征缩放？公式均值归一化学习率的调整的建议介绍建议正规方程解释公式如何选择梯度下降法或正规方程？两者之间的优缺 阅读全文

摘要：熵相关 1 信息量 1.1 简介 信息量（也可以叫信息熵）是表示一个事件所包含信息大小的度量（也可以理解为一个事件从不确定到确定的度量）。 1.2 公式 $$f(x) = -log(x) \tag{1}$$ 1.3 由来 怎样算信息量高？是通过这个信息我们听没听过来衡量，还是告诉我们内容的多少来衡量 阅读全文

摘要：计算公式 $\cos (\theta) = \frac{\vec{A} \cdot \vec{B}}{||\vec{A}|| \times ||\vec{B}||}$ 其中 $\theta$ 是 余弦相似度. 当$\cos (\theta)$越靠近1，则表示向量A和向量B在向量空间中的夹角越靠近0， 阅读全文