随笔分类 - b:Machine Learning
摘要：https://www.msra.cn/zh-cn/news/features/disentangled-self-attention-models
阅读全文
摘要：原文链接：https://mp.weixin.qq.com/s/iYQkwCs1xz2QIjRkg5nerg Retrieve, Rerank, Read, then Iterate: Answering Open-Domain Questions of Arbitrary Complexity f
阅读全文
摘要：原文链接：https://d2l.ai/chapter_optimization/lr-scheduler.html 在神经网络中，通常我们主要关注优化算法如何更新权重，而缺少关注更新的幅度，即学习率。适当的调整学习率和优化算法一样重要。可以从这些角度去考虑： 【学习率大小】最直观的就是学习率的粒度
阅读全文
摘要：sigmoid会衰减输入的影响（大input，小output），层数过多的话，导致输入对cost的影响几乎为0 ReLU是Maxout的特例，Maxout比ReLU更灵活 如何训练Maxout 等价这个网络（不同的样本更新不同的参数） 优化器AdaGrad RMSProp local minima（
阅读全文
摘要：文章链接：https://zhuanlan.zhihu.com/p/128066632 （本文大部分内容都摘抄自这篇文章，主要用作个人笔记。） 论文标题：Dice Loss for Data-imbalanced NLP Tasks 论文作者：Xiaofei Sun, Xiaoya Li, Yuxi
阅读全文
摘要：https://www.bilibili.com/video/av94519857?p=13 唯一需要知道的就是链式法则：引入隐变量。 只需要计算每1个样本对w的偏微分，然后求和，就得到所有样本对w的偏微分了；（b也是同样的。） 先考虑1个神经元的情况：有两部分，forward pass和backw
阅读全文
摘要：https://www.bilibili.com/video/av94519857?p=12 如果没有参数，就是一个function set： 一连串矩阵运算 Loss function
阅读全文
摘要：https://www.bilibili.com/video/av94519857?p=10 https://www.bilibili.com/video/av94519857?p=11 表格最左一列和最上一行 如果用regression的方法去做classification，就会发生右图的情况。
阅读全文
摘要：https://www.bilibili.com/video/av94519857?p=8 https://www.bilibili.com/video/av94519857?p=9 总结 一次能够拿到所有训练数据，就是offline learning。 每次梯度反方向 Momentum（累加历史所
阅读全文
摘要：https://www.bilibili.com/video/av94519857?p=5 https://www.bilibili.com/video/av94519857?p=6 https://www.bilibili.com/video/av94519857?p=7 为什么SGD比GD收敛更
阅读全文
摘要：https://www.bilibili.com/video/av94519857?p=1 1. 课程介绍 分类、回归、生成 监督、无监督、强化学习 可解释AI、对抗攻击、网络压缩 异常检测（知道自己不知道） 迁移学习（训练和测试的数据分布不同） Meta Learning（学习如何学习， Lear
阅读全文
摘要：论文链接：Focal loss for dense object detection 总体上讲，Focal Loss是一个缓解分类问题中类别不平衡、难易样本不均衡的损失函数。首先看一下论文中的这张图： 解释： 横轴是ground truth类别对应的概率（经过sigmoid/softmax处理过的l
阅读全文
摘要：原文链接：http://nlp.town/blog/sentence-similarity/ 这篇文章对比了几种当时最流行的计算句子相似度的方法。这里是代码，代码超赞！ 数据集 对比实验使用了两个测试集，一个STS Benchmark数据集，一个SICK data数据集。 方法 Baseline 表
阅读全文
摘要：原文链接：https://mp.weixin.qq.com/s/6VuovNdBGSSMq21OHfGe-w 摘要： NER的不同解码方式：CRF/指针网络/Biaffine 直接拿Transformer做NER不合适，可参考TENER 如何将实体词典融入到NER模型中？https://www.ac
阅读全文
摘要：原文链接：https://mp.weixin.qq.com/s/svo0_mJ0RwOUA7hgc0doCw 论文链接：https://arxiv.org/abs/1911.00068 带噪学习：https://github.com/subeeshvasu/Awesome-Learning-with
阅读全文
摘要：英文链接：https://mlflow.org/docs/latest/models.html 本文链接：https://www.cnblogs.com/CheeseZH/p/11946260.html 一个MLflow模型是打包机器学习模型的基本格式，可以方便的应用到不同下游工具，例如实时REST
阅读全文
摘要：英文链接：https://mlflow.org/docs/latest/projects.html 本文链接：https://www.cnblogs.com/CheeseZH/p/11945432.html MLflow项目是一种用于以可复用可复现的方式打包数据科学代码的格式。项目的组件包含了API
阅读全文
摘要：英文链接：https://mlflow.org/docs/latest/tracking.html 本文链接：https://www.cnblogs.com/CheeseZH/p/11945089.html MLflow Tracking MLflow Tracking组件提供了API和UI，用于记
阅读全文
摘要：英文链接：https://mlflow.org/docs/latest/tutorial.html 本文链接：https://www.cnblogs.com/CheeseZH/p/11943280.html 这篇教程展示了如何： 1. 训练一个线性回归模型 2. 将训练代码打包成一个可复用可复现的模
阅读全文
摘要：Homepage/演示网站：https://pair code.github.io/facets/ Pypi：https://pypi.org/project/facets overview/ Github：https://github.com/PAIR code/facets 1. 什么是Face
阅读全文