Ho

摘要： Working Content: 1.原来的思路和当前的思路如下：把两个参数的噪声当成另外两个参数，现在神经网络就有了四个输出，由于我们noise一般较小，我们需要使用regularization的方法添加penalty terms来限制它们的大小 2.基于以上思路，由于一直noise是哪些个参数， 阅读全文

摘要： Working Content: 1.把网络深度加深了一些，效果会好一些 2.发现神经网络每次的输出都不太一样，可能因为很多值都可以达到使loss降低的效果 阅读全文

摘要： Working Content: 1.昨天开了组会，教授说问题可能在于： 1）优化器2）函数采样（积分的误差？）3）网络深度4）模拟一个更复杂的函数 2.更换成了Adam优化器之后效果好像稍微要好一些，但还是不理想 3.今天把数据集的大小和范围都调小了一点，发现loss可以降到0.1以下 但是两个系 阅读全文

摘要： Working Content: 1.上次写到对同一组数据训练多次，发现loss是在不断下降， 但是降到一定程度就下降了。这次对于模拟TDTR特征的函数（以下简称模拟函数），效果要稍微好一些，loss可以下降到0.05以下，但是也降不下去了，得到的参数比较接近，但不算太好 Problem: 1.不知 阅读全文

摘要： Working Content: 1.对同一组数据训练多次，发现loss是在不断下降的。 2.验证TDTR是单调递减函数，并且更改前后的返回值基本相同。 3.模拟了一个简单函数，基本符合TDTR的特征，发现loss可以降到0.00几，但是参数返回还是有偏差 Problem: 1.（对于Working 阅读全文

摘要： Working Content: 1.分析TDTR和y=-2x+1的区别：TDTR的输入数值大且范围大，为60e3到11e6；y随x的变化非常小，如x由60e3改为61e3，y的变化值仅为0.01左右；TDTR函数更加复杂，因此训练过程慢 2.之前还忽略了一个问题，就是两个系数的量级差距以及scal 阅读全文

摘要： Working Content: 1.把简单的测试函数y=-2x+1的函数返回值改为(-2x+1)/10发现其训练速度会变慢，如果除以100则可能还会训练不出来，因此认为函数的数据集需要调整 2.把TDTR函数最后返回的phase乘了个10，以扩大loss，并且调整了scale，发现得到的结果还是不 阅读全文

摘要： Working Content: 1.把20220809写的y=-2x+1改成了y=-2x2+1后再进行训练，发现如果x在1到100就无法训练得到结果，因为loss太大了，如果将x范围改成1到10，则可以得到训练结果，因为loss不算大 2.检查了一下TDTR函数，觉得问题应该是出在函数本身和训练集 阅读全文

摘要： Working Content: 1.测试了原来的函数模型是否使得梯度无法回传 2.重新使用原来框架建立了关于一个简单函数y=-2x+1的模型，并进行拟合 Acquisition: 1.初步认为梯度是没有问题的（理由：使用同一组数据进行操作，发现在用optimizer更新完网络参数之后，输入同一组数 阅读全文

摘要： Regularization(正则化)： 定义： 任何减少泛化误差而不减少训练误差的行为。 （也就是可以增强对新数据的适配性，不会因为对原数据集拟合过度，导致对新数据的判断能力下降） 种类： 1. L2正则化（ Weight Decay(权重衰减)，Ridge Regression(岭回归) ） L 阅读全文