【B站：水论文的程序猿】

摘要： 实例：（Flappy Bird Q-learning） 问题分析 让小鸟学习怎么飞是一个强化学习（reinforcement learning）的过程，强化学习中有状态(state)、动作(action)、奖赏(reward)这三个要素。智能体（Agent，在这里就是指我们聪明的小鸟）需要根据当前状 阅读全文

摘要： 在文章《玩转Keras之seq2seq自动生成标题》中我们已经基本探讨过seq2seq，并且给出了参考的Keras实现。 本文则将这个seq2seq再往前推一步，引入双向的解码机制，它在一定程度上能提高生成文本的质量（尤其是生成较长文本时）。本文所介绍的双向解码机制参考自《Synchronous B 阅读全文

摘要： Beam Search快速理解及代码解析(上) Beam Search 简单介绍一下在文本生成任务中常用的解码策略Beam Search（集束搜索）。 生成式任务相比普通的分类、tagging等NLP任务会复杂不少。在生成的时候，模型的输出是一个时间步一个时间步依次获得的，而且前面时间步的结果还会影 阅读全文

摘要： ide 安装eval reset插件 Pycharm 永久破解 1、安装eval reset的目的 Jetbrains家的产品有一个很良心的地方，他会允许你试用30天（这个数字写死在代码里了）以评估是否你真的需要为它而付费。 事实上有一款插件可以实现这个功能，你或许可以用它来重置一下试用时间。但切记 阅读全文

摘要： BERT 在自然语言处理（NLP）领域刷新了 11 个任务的记录，万众瞩目，成为异常火热的一个预训练语言模型。 今天我们就来详细讲解下 BERT 这个预训练语言模型，虽然 BERT 刷新了各个任务的记录，但是 BERT 并不是一个具有极大创新的算法，更多的是一个集大成者，把 BERT 之前各个语言模型的优点集于一身，并作出了适当的改进，而拥有了如今无与伦比的能力。 阅读全文

摘要： 我为什么要做这件事呢？现存的python，机器学习视频都是为了培养人工智能算法工程师，各种高大上，各种看不懂，而有一批和我这样的同学，只想水一篇论文毕业，然后考公考编。因此，我的目标定位就是通过最快速的方法让大家具备水论文的一些必备基础。然后呢，transformer 和bert开课了，先润润嗓子，为正菜做准备。 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html 阅读全文

摘要： 本篇文章的知识点顺序是按照 Transformer 的架构，从下往上，从 encoders 到 decoders 的顺序编写的，可能不利于新手的理解，但是非常全面，可以参考其他的文章一起阅读，效果更佳！ 一、Transformer引入 来源于机器翻译： Transformer 分为两个部分——编码器 阅读全文

摘要： RNN做机器翻译有它自身的弱点，Attention正是为了克服这个弱点而出现的。所以，要理解Attention，就要搞明白两件事： RNN在做机器翻译时有什么弱点 Attention是如何克服这个弱点的 本文试图从解答这两个问题的角度来理解Attention机制。 一、RNN做机器翻译的经典思路 e 阅读全文

摘要： 浅述小样本学习以及元学习 自深度学习发展起来之后， 智能化的各种设备也慢慢变多，但是对于智能化的程序来说，需要数以万计甚至百万千万的数据行进训练，以近年来最为出名的AlphaGo为例，虽然下棋的是一台电脑，但其后台需要庞大的数据支持训练才能达到这样的效果。所以这也是深度学习的一个短板，训练数据需要太 阅读全文

摘要： 一、ADMM 算法动机 二、对偶问题 三、对偶上升法 四、对偶分割 五、乘子法（增广拉格朗日函数） 5.1 步长为 的好处 六、ADMM算法 6.1 ADMM 的 scaled form 形式 七、ADMM的收敛性证明思路 八、写在最后 阅读全文