11 2021 档案

Transformer是一个符合Bayesian深度学习网络的AI框架
摘要:贝叶斯神经网络(Bayesian Neural Network)通过提供不确定来回答“Why Should I Trust You?”这个问题。实现上讲,贝叶斯通过集成深度学习参数矩阵参数的Uncertainty来驾驭数据的不确定性,提供给具体Task具有置信空间Confidence的推理结构。 一 阅读全文

posted @ 2021-11-16 09:22 l_time 阅读(151) 评论(0) 推荐(0)

星空智能对话机器人的Gavin认为Transformer是拥抱数据不确定性的艺术。
摘要:Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现;基于Transformer各种模型变种及实践也都是基于Bayesi 阅读全文

posted @ 2021-11-14 18:33 l_time 阅读(99) 评论(0) 推荐(0)

基于Transformer的NLP智能对话机器人实战课程培训
摘要:NLP on Transformers 101 One Architecture, One Course,One Universe 本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开,学习完成后不仅能够从算法、 阅读全文

posted @ 2021-11-13 18:08 l_time 阅读(367) 评论(0) 推荐(0)

第3章: 细说Language Model内幕及Transformer XL源码实现
摘要:1,人工智能中最重要的公式之一MLE数学本质剖析及代码实战2,Language Model的数学原理、Chain Rule剖析及Sparsity问题3,Markov Assumption:first order、second order、third order剖析4,Language Model:u 阅读全文

posted @ 2021-11-10 10:08 l_time 阅读(88) 评论(0) 推荐(0)

第2章: 通过30+个细分模块完整实现Transformer论文源码及项目调试
摘要:1,Transformer源码训练及预测整体效果展示2,模型训练model_training.py代码完整实现3,数据预处理data_preprocess.py代码完整实现4,Input端Embeddings源码完整实现5,Attention机制attention.py代码完整实现6,Multi-h 阅读全文

posted @ 2021-11-10 10:07 l_time 阅读(75) 评论(0) 推荐(0)

第1章: 贝叶斯理论下的Transformer揭秘
摘要:1,基于Bayesian Theory,融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transformer架构2,为什么说抛弃了传统模型(例如RNN、 LSTM、CNN等)的Transformer拉开了非 阅读全文

posted @ 2021-11-10 10:06 l_time 阅读(229) 评论(0) 推荐(0)

基于Transformer的NLP智能对话机器人实战课程
摘要:One Architecture, One Course,One World 本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开,学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NL 阅读全文

posted @ 2021-11-10 10:02 l_time 阅读(122) 评论(0) 推荐(0)

深入理解Transformer自然语言处理 SRL(Semantic Role Labeling)
摘要:自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 SRL(Semantic Role Labeling) # Gavin大咖金句 Gavin:理论上将Transformer能够更好的处理一切以“set of units”存在的数据,而计算机视觉、语音、自然语言处理 阅读全文

posted @ 2021-11-09 10:50 l_time 阅读(1006) 评论(0) 推荐(0)

导航