摘要: 本文的主题是预训练语言模型的前世今生,会大致说下 NLP 中的预训练技术是一步一步如何发展到 Bert 模型的,从中可以很自然地看到 Bert 的思路是如何逐渐形成的,Bert 的历史沿革是什么,继承了什么,创新了什么,为什么效果那么好,主要原因是什么,以及为何说模型创新不算太大,为何说 Bert 是近年来 NLP 重大进展的集大成者。 预训练语言模型的发展并不是一蹴而就的,而是伴随着诸如词嵌入、序列到序列模型及 Attention 的发展而产生的。 阅读全文
posted @ 2021-08-05 19:31 十七岁的有德 阅读(374) 评论(0) 推荐(0) 编辑
摘要: 本篇教程采用 Boyd and Vandenberghe的教材,主要是自己学习凸优化课程时候的笔记和心得,其中应用篇没有学习。 阅读全文
posted @ 2021-06-18 16:24 十七岁的有德 阅读(479) 评论(0) 推荐(0) 编辑
摘要: Pytorch从入门到放弃 一、前置基础(选看) 0101-Python从入门到放弃(目录) 0102-人工智能(目录) 0103-numpy模块 0104-DeepLearning-图像识别(cnn 流程架构) 二、Pytorch 引入 本章更多的是对 torch 的发展史的简单阐述。 0201- 阅读全文
posted @ 2021-04-15 15:03 十七岁的有德 阅读(3657) 评论(0) 推荐(1) 编辑
摘要: 《数据结构》-李云清,师大865、863数据结构考研总结,只有核心知识点,没有那些繁琐的文字,简洁明了,同时适合准备面试的同学温习,没有给出的代码基本不考面试也不会问。 阅读全文
posted @ 2020-10-04 20:36 十七岁的有德 阅读(4448) 评论(0) 推荐(2) 编辑
摘要: 全新的机器学习大纲,机器学习十大算法应有尽有,每一个算法都配套一个小实例,如鸢尾花分类、波士顿房价预测、葡萄酒质量检测、乳腺癌判断、垃圾邮件分类、手写数字识别、推荐系统…… 实现了对每一个优化算法的推导,详尽的公式,相信你看起来一定不困难! 更有sklearn快速入门,深度学习简介,Tensorflow使用简介。 阅读全文
posted @ 2019-10-16 17:25 十七岁的有德 阅读(15615) 评论(8) 推荐(22) 编辑
摘要: Python基础、网络编程、并发编程、MySQL数据库全教程!!! 计算机基础、计算机组成原理、计算机操作系统、计算机网络; Python数据类型、流程控制、文件处理、函数、面向对象; 网络编程的IOS七层协议、TCP协议的三次握手四次挥手、基于TCP/UDP协议的socket套接字编程; 并发编程的多进程、多线程、协程、GIL全局解释器锁、五个IO模型; MySQL数据库的增删改查、索引优化、高级用法(游标、视图、事务、存储过程)满足你的所有要求。 用轻松愉快的语言+图片让你在学习Python的同时获得乐趣,丰富的代码展示让你知其所以然,说多无益,快上车!!! 阅读全文
posted @ 2019-04-16 16:42 十七岁的有德 阅读(53462) 评论(8) 推荐(96) 编辑
摘要: ide 安装eval reset插件 Pycharm 永久破解 1、安装eval reset的目的 Jetbrains家的产品有一个很良心的地方,他会允许你试用30天(这个数字写死在代码里了)以评估是否你真的需要为它而付费。 事实上有一款插件可以实现这个功能,你或许可以用它来重置一下试用时间。但切记 阅读全文
posted @ 2021-10-01 20:27 十七岁的有德 阅读(112) 评论(0) 推荐(0) 编辑
摘要: BERT 在自然语言处理(NLP)领域刷新了 11 个任务的记录,万众瞩目,成为异常火热的一个预训练语言模型。 今天我们就来详细讲解下 BERT 这个预训练语言模型,虽然 BERT 刷新了各个任务的记录,但是 BERT 并不是一个具有极大创新的算法,更多的是一个集大成者,把 BERT 之前各个语言模型的优点集于一身,并作出了适当的改进,而拥有了如今无与伦比的能力。 阅读全文
posted @ 2021-08-08 11:20 十七岁的有德 阅读(510) 评论(2) 推荐(0) 编辑
摘要: 本文的主题是预训练语言模型的前世今生,会大致说下 NLP 中的预训练技术是一步一步如何发展到 Bert 模型的,从中可以很自然地看到 Bert 的思路是如何逐渐形成的,Bert 的历史沿革是什么,继承了什么,创新了什么,为什么效果那么好,主要原因是什么,以及为何说模型创新不算太大,为何说 Bert 是近年来 NLP 重大进展的集大成者。 预训练语言模型的发展并不是一蹴而就的,而是伴随着诸如词嵌入、序列到序列模型及 Attention 的发展而产生的。 阅读全文
posted @ 2021-08-05 19:31 十七岁的有德 阅读(374) 评论(0) 推荐(0) 编辑
摘要: 本篇文章的知识点顺序是按照 Transformer 的架构,从下往上,从 encoders 到 decoders 的顺序编写的,可能不利于新手的理解,但是非常全面,可以参考其他的文章一起阅读,效果更佳! 一、Transformer引入 来源于机器翻译: Transformer 分为两个部分——编码器 阅读全文
posted @ 2021-07-28 17:55 十七岁的有德 阅读(372) 评论(0) 推荐(0) 编辑
摘要: RNN做机器翻译有它自身的弱点,Attention正是为了克服这个弱点而出现的。所以,要理解Attention,就要搞明白两件事: RNN在做机器翻译时有什么弱点 Attention是如何克服这个弱点的 本文试图从解答这两个问题的角度来理解Attention机制。 一、RNN做机器翻译的经典思路 e 阅读全文
posted @ 2021-07-24 11:08 十七岁的有德 阅读(198) 评论(0) 推荐(0) 编辑
摘要: 浅述小样本学习以及元学习 自深度学习发展起来之后, 智能化的各种设备也慢慢变多,但是对于智能化的程序来说,需要数以万计甚至百万千万的数据行进训练,以近年来最为出名的AlphaGo为例,虽然下棋的是一台电脑,但其后台需要庞大的数据支持训练才能达到这样的效果。所以这也是深度学习的一个短板,训练数据需要太 阅读全文
posted @ 2021-06-25 21:54 十七岁的有德 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 一、ADMM 算法动机 二、对偶问题 三、对偶上升法 四、对偶分割 五、乘子法(增广拉格朗日函数) 5.1 步长为 的好处 六、ADMM算法 6.1 ADMM 的 scaled form 形式 七、ADMM的收敛性证明思路 八、写在最后 阅读全文
posted @ 2021-06-24 13:04 十七岁的有德 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 一、简介 二、对数障碍 三、中心路径 四、障碍方法 五、总结 阅读全文
posted @ 2021-06-23 15:14 十七岁的有德 阅读(150) 评论(0) 推荐(0) 编辑
摘要: 一、简介 二、等式约束凸二次规划 三、等式约束的Newton方法 四、求解KKT系统 五、总结 阅读全文
posted @ 2021-06-23 14:15 十七岁的有德 阅读(233) 评论(2) 推荐(0) 编辑
摘要: 一、无约束最小化问题 二、下降法 三、梯度下降法 四、最速下降法 五、牛顿法 六、牛顿法收敛性分析 阅读全文
posted @ 2021-06-22 23:27 十七岁的有德 阅读(287) 评论(0) 推荐(0) 编辑