摘要： 理论：参考链接 Beta分布是二项式分布的共轭先验分布，而狄利克雷(Dirichlet)分布是多项式分布的共轭分布。 共轭的意思是，以Beta分布和二项式分布为例，数据符合二项分布的时候，参数的先验分布和后验分布都能保持Beta分布的形式，这种形式不变的好处是，我们能够在先验分布中赋予参数很明确的物 阅读全文

摘要： 一、句法分析 参考链接1，参考链接2 将顺序输入的句子输出成树形符合句子结构的非线性数据结构。 CFG 现在一般都是用seq2seq模型来做的。 PCFG，在每个语法后面标注使用这个语法的概率： 使用PCFG计算每棵树的score，用来选择最好的那棵树。 如果枚举所有的树去找概率，计算量太大，指数级 阅读全文

摘要： 一、Word2Vec： 参考学习链接 1.需要具备的基础知识： - 哈夫曼树、哈夫曼编码（变长编码，高频距离root近） - 【统计语言模型】N-gram模型（这里模型表示的下标和上标表示起始和终止，表示第k个单词被假设只和其前n-1个单词相关，也就是【k-(n-1)一直到k-1】） 传统的方法需要 阅读全文

摘要： 优化与正则 网络优化难点，改善方法 一、优化与正则 优化：经验风险最小 正则化：降低模型复杂度 （1）网络优化 a.网络优化难点： 结构差异大 没有通用的优化算法 超参数多 非凸优化问题 参数初始化 逃离局部最优（鞍点） 梯度消失（爆炸）问题 b.神经网络优化的改善方法： 更有效的优化算法来提高优化 阅读全文

摘要： 首先要感谢《谷歌高畅Leetcode刷题笔记》的作者，本系列文章的发表是基于他的C++版本提出的python版本，并且添加一些自己的总结。 贪心算法☺ 贪心算法的思想就是，每一步最优就可以达到全局最优。 贪心，顾名思义，就是每一步都很贪心，也就是每一步都按照它认为可以达到最优的方法进行。 练习题一 阅读全文

摘要： 前馈网络/全连接/多层感知机/有向无环图； 常见激活函数； 并行； 前馈神经网络； 计算梯度的方法； 静态/动态计算图； 卷积网络； 不同卷积核提取不同特征； 经典卷积结构； 循环网络； RNN入门； 经典结构； 一、前馈网络 （1）常见激活函数【前面是表达式，后面是评论】 【非0中心化，并且是指数 阅读全文

摘要： 逻辑回归； 感知机； 损失函数； 逻辑回归 1.表达式：（δ为logistic函数） 2.交叉熵： 交叉熵是按照概率分布q的最优编码对真实分布为p的信息进行编码的长度。 如果 p和 𝑞 越接近，交叉熵越小； 3.KL散度 KL散度是用概率分布q来近似p时所造成的信息损失量。 4.数据中（因为真实分 阅读全文

摘要： 正则化； 线性函数的概率角度推导； 先验分布决定的Loss函数； 有监督，无监督，增强学习； 资源链接 两种正则化（损害优化）： （1）增加优化约束L1,L2 （2）干扰优化过程：权重衰减，随机梯度下降，提前终止（我们使用一个验证集（Validation Dataset）来测试每一次迭代的参数在验证 阅读全文

摘要： 数组基本操作参考：https://www.cnblogs.com/tdskee/p/6912681.html 其中比较经常忘记的是list.index(),list.remove,list.extend() 补充：pop(index)可以弹出第index个元素(从0开始) 复制数组（如果直接赋值a= 阅读全文