blcblc - 博客园

2022年2月21日

摘要：这一篇文章讲得很好： https://zhuanlan.zhihu.com/p/36564434 《梯度下降法 —— 经典的优化方法》核心是这张图：所以负梯度方向，不是随便得来的，是根据泰勒公式推导得来的。阅读全文

posted @ 2022-02-21 20:58 blcblc 阅读(66) 评论(0) 推荐(0)

摘要：第一篇是这个： https://zhuanlan.zhihu.com/p/32230623 在上面一篇文章已经讲了： https://www.cnblogs.com/charlesblc/p/15908598.html 接下来是这篇文章： https://zhuanlan.zhihu.com/p/3 阅读全文

posted @ 2022-02-21 20:30 blcblc 阅读(1126) 评论(0) 推荐(0)

2022年2月18日

优化算法的一些摘要

摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/32230623 深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。我们换一个思路，用一个框架来梳理所有的优化算法，做阅读全文

posted @ 2022-02-18 14:43 blcblc 阅读(122) 评论(0) 推荐(0)

2022年2月17日

各种Normalization与ICS

摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/33173246 https://www.sohu.com/a/220228574_717210（这篇是上面的转载）其中ICS问题参考这里： https://blog.csdn.net/sinat_33741547/arti 阅读全文

posted @ 2022-02-17 17:37 blcblc 阅读(155) 评论(0) 推荐(0)

图解BERT模型-读书摘要

摘要：今天读的这篇文章：《图解BERT模型：从零开始构建BERT》 https://cloud.tencent.com/developer/article/1389555 单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文阅读全文

posted @ 2022-02-17 16:17 blcblc 阅读(479) 评论(0) 推荐(0)

2022年2月16日

Contextualized Word Embedding-ELMO/BERT/GPT

摘要：参考这篇文章： https://www.cnblogs.com/dogecheng/p/11615750.html 我们期望每一个 word token 都有一个 embedding。每个 word token 的 embedding 依赖于它的上下文。这种方法叫做 Contextualized W 阅读全文

posted @ 2022-02-16 21:42 blcblc 阅读(146) 评论(0) 推荐(0)

encoder-decoder读书摘要

摘要：文本生成相关文章，还不错，看一下《文本生成系列之encoder-decoder》 https://mp.weixin.qq.com/s/ZSf5XUfq3LyjUtai2XVyAQ 文本生成是自然语言处理领域一种常见的任务，它实现了从源文本到目标文本之间的转换。应用于包括机器翻译(Machine 阅读全文

posted @ 2022-02-16 18:04 blcblc 阅读(182) 评论(0) 推荐(0)

《深度学习思考》的读书笔记

摘要：这篇文章还不错，有一些值得继续思考的地方。《周志华教授：关于深度学习的一点思考》 https://mp.weixin.qq.com/s/DlJZII9yKtgskcjTBfZCtQ Hinton 等通过“逐层训练后联合微调”来缓解梯度消失，使人们看到训练深层神经网络是可能的，由此激发了后来的研究，阅读全文

posted @ 2022-02-16 16:03 blcblc 阅读(125) 评论(0) 推荐(0)

深度学习面试的一些题目

摘要：整体回答得都比较简略，可以起到提纲挈领的作用，但是还需要继续深化。解释Adam优化器的概念。答：Adam结合了两个想法来改善收敛性：每个参数更新可加快收敛速度；动量可避免卡在鞍点上。为什么必须在神经网络中引入非线性？答：否则，我们将获得一个由多个线性函数组成的线性函数，那么就成了线性模型。线阅读全文

posted @ 2022-02-16 15:21 blcblc 阅读(105) 评论(0) 推荐(0)

2022年2月15日

一篇关于PLM和NLG领域的综述

摘要： PLM：Pretrained Language Model NLG：Natural Language Generation 这篇文章从把文本生成的方法分成了三类：输入编码、模型设计、优化方法。同时还从数据、模型、优化三个层面列出了文本生成的一些其他挑战。 N-Gram Overlap：BLEU、R 阅读全文

posted @ 2022-02-15 21:25 blcblc 阅读(257) 评论(0) 推荐(0)

笨鸟居士的博客

公告