摘要: 1. 前言 近一年来,NLP领域发展势头强劲,从ELMO到LSTM再到去年最牛叉的Google Bert,在今年年初,Facebook又推出了 "XLM" 模型,在跨语言预训练领域表现抢眼。实验结果显示 "XLM" 在XNLI任务上比原来的state of the art直接高了4.9个百分点;在无 阅读全文
posted @ 2019-11-19 20:20 hyc339408769 阅读(2420) 评论(0) 推荐(1) 编辑
摘要: 1. 前言 在前面的章节中我们介绍了时序差分算法(TD)和Q Learning,当状态和动作空间是离散且维数不高时可使用Q Table储存每个状态动作对的Q值,而当状态和动作空间是高维连续时,使用Q Table不动作空间和状态太大十分困难。所以论文Human level control throug 阅读全文
posted @ 2019-09-19 11:08 hyc339408769 阅读(7316) 评论(0) 推荐(0) 编辑
摘要: "超参数优化" "Bayesian Optimization使用Hyperopt进行参数调优" 1. 前言 本文将介绍一种快速有效的方法用于实现机器学习模型的调参。有两种常用的调参方法:网格搜索和随机搜索。每一种都有自己的优点和缺点。网格搜索速度慢,但在搜索整个搜索空间方面效果很好,而随机搜索很快, 阅读全文
posted @ 2019-09-15 13:00 hyc339408769 阅读(1267) 评论(1) 推荐(0) 编辑
摘要: "超参数优化" "Bayesian Optimization使用Hyperopt进行参数调优" 1. 前言 现在的机器学习和深度学习中,在模型结构确定的情况下,不同的超参数的选择对整个结果的好坏有着至关重要的影响。不少人还嬉称人工智能工程师,其实是“调参侠”。 1.1 超参数 在模型开始学习过程之前 阅读全文
posted @ 2019-09-14 14:47 hyc339408769 阅读(1037) 评论(0) 推荐(0) 编辑
摘要: 1. 前言 XLNet "原文链接" 是CMU与谷歌大脑提出的全新NLP模型,在20个任务上超过了BERT的表现,并在18个任务上取得了当前最佳效果,包括机器问答、自然语言推断、情感分析和文档排序。 这篇新论文中,作者从自回归(autoregressive)和自编码(autoencoding)两大范 阅读全文
posted @ 2019-09-02 14:55 hyc339408769 阅读(3896) 评论(1) 推荐(0) 编辑
摘要: "1. 语言模型" "2. Attention Is All You Need(Transformer)算法原理解析" "3. ELMo算法原理解析" "4. OpenAI GPT算法原理解析" "5. BERT算法原理解析" "6. 从Encoder Decoder(Seq2Seq)理解Atten 阅读全文
posted @ 2019-09-02 10:31 hyc339408769 阅读(4809) 评论(0) 推荐(0) 编辑
摘要: 1. 前言 Q Learning算法也是时序差分算法的一种,和我们前面介绍的SARAS不同的是,SARSA算法遵从了交互序列,根据当前的真实行动进行价值估计;Q Learning算法没有遵循交互序列,而是在当前时刻选择了使价值最大的行动。 2. Q Learning Q Learning算法在计算当 阅读全文
posted @ 2019-03-09 11:28 hyc339408769 阅读(3511) 评论(0) 推荐(0) 编辑
摘要: 1. 前言 我们前面介绍了第一个Model Free的模型蒙特卡洛算法。蒙特卡罗法在估计价值时使用了完整序列的长期回报。而且蒙特卡洛法有较大的方差,模型不是很稳定。本节我们介绍时序差分法, 时序差分法不需要完整的序列,并且利用Bellman公式和动态规划进行迭代 。 2. 时序差分和蒙特卡洛比较 前 阅读全文
posted @ 2019-03-09 10:50 hyc339408769 阅读(2818) 评论(1) 推荐(0) 编辑
摘要: "1. 语言模型" "2. Attention Is All You Need(Transformer)算法原理解析" "3. ELMo算法原理解析" "4. OpenAI GPT算法原理解析" "5. BERT算法原理解析" "6. 从Encoder Decoder(Seq2Seq)理解Atten 阅读全文
posted @ 2019-02-20 22:16 hyc339408769 阅读(14165) 评论(6) 推荐(5) 编辑
摘要: 1. 前言 最大熵模型(maximum entropy model, MaxEnt)也是很典型的分类算法了,它和逻辑回归类似,都是属于对数线性分类模型。在损失函数优化的过程中,使用了和支持向量机类似的凸优化技术。而对熵的使用,让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型,对逻辑回 阅读全文
posted @ 2019-02-19 21:46 hyc339408769 阅读(2707) 评论(0) 推荐(0) 编辑