路文希

摘要： CNN一般用于影像的辨识上。 CNN优点：可以只看图片部分关键特征；出现在图片不同位置的特征不需要重新定义参数；可将图片维持特征下进行放缩。 简单说明CNN： 讲解： filter参数是学出来的 假设filter已经训练好，作内积和得新矩阵。 filter1的作用：3出现代表右斜线连续三个1 如果是 阅读全文

摘要： deep learning效果不好，从哪些方面做改进呢？ 得到一个神经网络，检查在training data上的表现，好的话检查在testing data上表现。 testing data上表现不好，不一定是过拟合，要结合training data上表现。 改进方法：dropout可以在测试集上取得 阅读全文

摘要： 正向具体过程： 举例： 反向具体过程： 假设问号项已知，有 所以说反向传播就可以理解为 此时是假设是最后输出层： 假如不是最后输出层，是中间某一层： 继续算下去 一直到输出层为止 从前往后需要太多，所以可以选择直接从后往前算，例子为从5，6先开始，到3，4再往前 总结： 阅读全文

摘要： 连接是手动设置的，weight和bias是调出来的，一个神经网络将参数设置好就是一个function deep指的就是许多隐藏层 可以表示成矩阵方便运算 手写数字举例： 输入256维向量，输出10维，每个代表输出为数字0，1……9的几率 计算损失就是计算y和y^的交叉熵损失 找一个θ*使total 阅读全文

摘要： 穷举最好函数最基本方法结合贝叶斯公式、全概率公式，算概率 简单例子： 红圈里根据数据算出 。 极大似然估计： 某个μ和∑的Gaussian就是每个样本点的几率 穷举所有μ和∑，能使likelihood 式子最大的μ和∑我们就认为它们是最有可能产生那79个点的μ*和∑*。易知μ*和∑*的最佳解。 每个 阅读全文

摘要： 其中，learning rate：η ：梯度，它实际是个vector。Gradient可以考虑成Loss等高线的法线方向 learning rate要小心调节 红线的learning rate就是刚刚好，蓝线太慢了，绿线黄线太快了。可以通过画右边图来观察。 越学习越慢，不同的参数最好提供不同的lea 阅读全文