随笔分类 -  NLP

记录NLP相关算法
【NLP】常用优化方法
摘要：目录 梯度下降法 动量法 AdaGrad算法 RMSProP算法 AdaDelta算法 Adam算法 1.梯度下降法 梯度下降法可以分为三种，批量梯度下降法（BGD）、小批量梯度下降（MBGD）、随机梯度下降法（SGD），这三种方法是优化时对数据所采取的的策略，但所运用的思想是一致的，都是梯度下降， 阅读全文
posted @ 2020-05-25 16:32 正在学习的小pobby 阅读(864) 评论(0) 推荐(0)
【NLP】常用损失函数
摘要：1.sigmoid_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits(logits=logits, labels=labels) 计算方式：对输入的logits先通过sigmoid函数计算，再计算它们的交叉熵，但是它对 阅读全文
posted @ 2020-05-21 09:32 正在学习的小pobby 阅读(312) 评论(0) 推荐(0)