yooweey

2026年7月30日

摘要：

翻译自 https://implicit-layers-tutorial.org/differentiable_optimization/ 在本教程的前几章中，我们考虑了诸如深度平衡模型和神经常微分方程这样的隐式层，它们都对层的性质施加了某种特定类型的结构。另一种常见的高度相关的结构类型是，将层定义阅读全文

posted @ 2026-07-30 01:01 yooweey 阅读(3) 评论(0) 推荐(0)

深度隐式层 | 深度平衡模型 (Deep Equilibrium, DEQ)

摘要：

翻译自 https://implicit-layers-tutorial.org/deep_equilibrium_models/ 本章介绍另一类新兴的隐式层模型——深度平衡（Deep Equilibrium, DEQ）模型 [Bai et al., 2019]。这些模型最近在各类大规模视觉和 NL 阅读全文

posted @ 2026-07-30 01:00 yooweey 阅读(1) 评论(0) 推荐(0)

深度隐式层 | 从显式层到隐式层

摘要：

翻译自 https://implicit-layers-tutorial.org/introduction/ 现代深度学习方法的核心是层的概念。深度学习模型传统上通过堆叠许多这样的层来构建，以创建为解决特定任务而设计的架构。例如，卷积网络由卷积层组成，通常后面跟着逐元素的非线性激活如 ReLU，以及阅读全文

posted @ 2026-07-30 00:58 yooweey 阅读(1) 评论(0) 推荐(0)

深度隐式层 | 隐式函数与自动微分

摘要：

翻译自：https://implicit-layers-tutorial.org/implicit_functions/ 不动点的高效微分不动点求解器让我们从数值不动点开始，比如那些构成深度平衡模型（DEQ）基础的不动点。我们的主要目标是解释如何高效地对由不动点方程隐式定义的函数进行自动微分。阅读全文

posted @ 2026-07-30 00:55 yooweey 阅读(1) 评论(0) 推荐(0)

深度隐式层 | 神经常微分方程

摘要：

翻译自 https://implicit-layers-tutorial.org/neural_odes/ 如果我们想构建一个连续时间或连续深的模型，微分方程求解器是一个有用的工具。但如何将 odeint 作为构建深度模型的层呢？前一章展示了如何计算其梯度，因此唯一缺少的就是给它一些参数。本章将展示阅读全文

posted @ 2026-07-30 00:53 yooweey 阅读(0) 评论(0) 推荐(0)

2026年7月29日

神经网络 | 从线性结构到可学习非线性

摘要：

2026-5-1：修订和优化内容表达，强化边与节点的表述，以及完善ONN与KAN之间的关联。 2026-6-2：补充 KAN 原论文中的网格扩展、可解释化思路，并加入 rKAN、FC-KAN 与 KAT 等扩展工作。 2026-7-29：补充 Rational ANOVA Networks，梳理有理阅读全文

posted @ 2026-07-29 14:50 yooweey 阅读(4) 评论(0) 推荐(0)

Ideas in motion, documented with care.