SRTP_Log_20220816

Working Content:

1.对同一组数据训练多次,发现loss是在不断下降的。

 

 

 

2.验证TDTR是单调递减函数,并且更改前后的返回值基本相同。

 

 

3.模拟了一个简单函数,基本符合TDTR的特征,发现loss可以降到0.00几,但是参数返回还是有偏差

Problem:

1.(对于Working Content 1)下降的速率比较慢,如果调高lr的话可能会无法下降,如果调低lr的话会下降的更慢,目前最佳lr是0.0001或者0.00001。但是这个速率也只会让每组数据的loss0.1或者小于0.1的速度减小。

2.(对于Working Content 2)可能是其他数据也可以匹配,并且需要调整一下让loss变大,否则网络可能会认为loss已经足够小了,从而导致无法继续下降。

 

posted @ 2022-08-16 16:56  Ho-  阅读(11)  评论(0)    收藏  举报