05 2021 档案

Python weakref (弱引用 ) 教程
摘要：原文：https://blog.csdn.net/NeverLate_gogogo/article/details/107021695 本文有删改 前言 首先提一点：大家遇到python模块的使用问题，尽可能去 python document去找答案。 但是关于weakref，官网上给的例子，并不能 阅读全文
posted @ 2021-05-31 14:55 marsggbo 阅读(6624) 评论(1) 推荐(5)
functools.wraps装饰器的作用
摘要：原文： https://www.dazhuanlan.com/2019/12/26/5e0409c45a205/ 对比测试 先看一个未使用functools.wraps的装饰器: def time_consuming_deco(func): """ 计算运行func函数所消耗的时间 """ def 阅读全文
posted @ 2021-05-26 19:58 marsggbo 阅读(198) 评论(0) 推荐(0)
Transformer自下而上理解(5) 从Attention层到Transformer网络
摘要：本文参考Wang Shusen老师的教学视频：https://www.youtube.com/watch?v=aJRsr39F4dI&list=PLvOO0btloRntpSWSxFbwPIjIum3Ub4GSC&index=2 1. Multi-Head (Self-)Attention Laye 阅读全文
posted @ 2021-05-25 13:11 marsggbo 阅读(1057) 评论(0) 推荐(0)
Transformer自下而上理解(4) Attention without RNN
摘要：本文笔记参考Wang Shusen老师的课程：https://www.youtube.com/watch?v=aButdUV0dxI&list=PLvOO0btloRntpSWSxFbwPIjIum3Ub4GSC&index=1 1. 回顾Attention 在介绍Transformer之前，我们首 阅读全文
posted @ 2021-05-24 22:20 marsggbo 阅读(163) 评论(0) 推荐(0)
Transformer自下而上理解(3) Self-attention机制
摘要：本文笔记参考Wang Shusen老师的课程：https://www.youtube.com/watch?v=Vr4UNt7X6Gw&list=PLvOO0btloRnuTUGN4XqO85eKPeFSZsEqK&index=9 1. 前言 2015年，在文献[1]中首次提出attention。到了 阅读全文
posted @ 2021-05-24 17:18 marsggbo 阅读(390) 评论(0) 推荐(0)
Retiarii：微软在NAS框架上的新动作，已被顶会OSDI2020接收
摘要：省流总结 Retiarii意思是 网斗士，是古罗马以仿渔夫装备——手抛网（rete）、三叉戟（fuscina 或 tridens）和匕首（pugio）进行搏斗的角斗士。官方的解释是因为神经网络可以看成是一个网，然后Retiarii就是去搜索网的斗士，哈哈哈，有点意思~~ Retiarii的主要贡献有 阅读全文
posted @ 2021-05-13 22:43 marsggbo 阅读(812) 评论(0) 推荐(1)