摘要： 贝叶斯神经网络（Bayesian Neural Network）通过提供不确定来回答“Why Should I Trust You？”这个问题。实现上讲，贝叶斯通过集成深度学习参数矩阵参数的Uncertainty来驾驭数据的不确定性，提供给具体Task具有置信空间Confidence的推理结构。 一 阅读全文

摘要： Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现；基于Transformer各种模型变种及实践也都是基于Bayesi 阅读全文

摘要： NLP on Transformers 101 One Architecture， One Course，One Universe 本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、 阅读全文

摘要： 1，人工智能中最重要的公式之一MLE数学本质剖析及代码实战2，Language Model的数学原理、Chain Rule剖析及Sparsity问题3，Markov Assumption：first order、second order、third order剖析4，Language Model：u 阅读全文

摘要： 1，Transformer源码训练及预测整体效果展示2，模型训练model_training.py代码完整实现3，数据预处理data_preprocess.py代码完整实现4，Input端Embeddings源码完整实现5，Attention机制attention.py代码完整实现6，Multi-h 阅读全文

摘要： 1，基于Bayesian Theory，融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transformer架构2，为什么说抛弃了传统模型（例如RNN、 LSTM、CNN等）的Transformer拉开了非 阅读全文

摘要： One Architecture， One Course，One World 本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NL 阅读全文

摘要： 自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 SRL(Semantic Role Labeling) # Gavin大咖金句 Gavin：理论上将Transformer能够更好的处理一切以“set of units”存在的数据，而计算机视觉、语音、自然语言处理 阅读全文

摘要： Spark Tungsten揭秘 Day4 内存和CPU优化使用 今天聚焦于内存和CPU的优化使用，这是Spark2.0提供的关于执行时的非常大的优化部分。 对过去的代码研究，我们会发现，抽象的提高，转过来会变成对CPU和内存的使用。也就是说，抽象提升，会对内存对Cpu会有很多不必要的使用，执行很多 阅读全文

摘要： Spark Tungsten揭秘 Day3 内存分配和管理内幕 恭喜Spark2.0发布，今天会看一下2.0的源码。 今天会讲下Tungsten内存分配和管理的内幕。Tungsten想要工作，要有数据源和数据结构，这时候会涉及到内存管理，而内存管理也是后续做很多分析和逻辑控制的基础。 内存分配 我们 阅读全文