摘要：
如何在pytorch中使用自定义的激活函数？ 如果自定义的激活函数是可导的，那么可以直接写一个python function来定义并调用，因为pytorch的autograd会自动对其求导。 如果自定义的激活函数不是可导的，比如类似于ReLU的分段可导的函数，需要写一个继承torch.autogra 阅读全文
摘要：
对于Transformer模型的positional encoding，最初在Attention is all you need的文章中提出的是进行绝对位置编码，之后Shaw在2018年的文章中提出了相对位置编码，就是本篇blog所介绍的算法RPR；2019年的Transformer-XL针对其se 阅读全文
摘要：
CS224N Assignment 1: Exploring Word Vectors (25 Points)¶ Welcome to CS224n! Before you start, make sure you read the README.txt in the same directory 阅读全文
摘要：
(转载请注明出处哦~) 参考链接： 1. 误差函数的wiki百科：https://zh.wikipedia.org/wiki/%E8%AF%AF%E5%B7%AE%E5%87%BD%E6%95%B0 2. 正态分布的博客：https://blog.csdn.net/hhaowang/article/ 阅读全文
摘要：
参考链接： 1. 介绍python中的可变类型与不可变类型：https://blog.csdn.net/answer3lin/article/details/86430074 (也可以参考转载博客 Python中的不可变对象类型与可变对象类型) 2. 介绍等号赋值、copy、deepcopy的区别： 阅读全文
摘要：
https://wenku.baidu.com/view/3e62df30b90d6c85ec3ac670.html https://baijiahao.baidu.com/s?id=1614655524397070040&wfr=spider&for=pc 1. 极坐标的定义 已知平面上一点P，在 阅读全文
摘要：
转自：https://www.jianshu.com/p/02183498a2c2 面向对象的三大特性是封装、继承和多态。多态是非常重要的一个特性，C++多态基于虚函数和虚继承实现，本文将完整挖掘C++多态的应用、实现和内存分布。 多态的引入 重点：早绑定与运行时绑定 C++继承可以让子类继承另基类 阅读全文
摘要：
转：https://blog.csdn.net/vanturman/article/details/79393317 第一: private,public,protected的访问范围: private: 只能由该类中的函数、其友元函数访问，不能被其他任何访问，该类的对象也不能访问； protect 阅读全文
摘要：
参考链接： 1. https://medium.com/@cwchang/gradient-boosting-%E7%B0%A1%E4%BB%8B-f3a578ae7205 2. https://zhuanlan.zhihu.com/p/38329631 3. StatQuest with Josh 阅读全文
摘要：
Google Cloud 原文链接：https://cloud.google.com/blog/products/ai-machine-learning/what-makes-tpus-fine-tuned-for-deep-learning 机器之心翻译链接：https://baijiahao.b 阅读全文