摘要：
目前限于时间原因，只在 Github Pages 上托管了。 之后有时间会托管到 pythonanywhere 上，因为 Github Pages 是在太慢了。 阅读全文
posted @ 2024-03-10 11:40
jeefy
阅读(185)
评论(2)
推荐(2)
摘要：
可能更好的阅读体验：Jeefy's blog: \(C^2P^2SL\) 传统的 SL（Split Learning），例如 [[SplitNN.pdf]] 框架或者 [[SplitFed]]，其核心就是将模型分层。在客户端向前几步，然后上传到服务器向前，然后返回。 常用的框架就这两种。上面是 Cl 阅读全文
posted @ 2026-05-06 18:13
jeefy
阅读(2)
评论(0)
推荐(0)
摘要：
其设计核心十分简单： Server 端：不断接收 FP 到某一层的数据，然后继续 FP 出最终答案，然后计算损失，BP 回到某一层，将误差项 \(\delta\) 传回去，方便计算梯度。 Client 端：不断更新，取数据，FP 一半，先来个 DP 保护隐私，再继续 FP 到目标层，然后传到 Ser 阅读全文
posted @ 2026-05-06 15:39
jeefy
阅读(2)
评论(0)
推荐(0)
摘要：
1. 核心思想 传统对抗防御（如对抗训练）只能提供经验鲁棒性。PixelDP 的核心洞察是：如果模型对输入的随机扰动满足 \((\epsilon, \delta)\)-DP，那么根据 DP 的后处理免疫性和稳定性边界，模型输出在输入发生 \(\ell_p\)-范数有界扰动时的变化可以被严格限定。这转 阅读全文
posted @ 2026-05-06 15:39
jeefy
阅读(2)
评论(0)
推荐(0)
摘要：
[[Switch Transformers.pdf]] 和一般的 MoE 框架不同，其采用 Top-1 而不是 Top-k 设计 然后是一系列工程上的设计。待补。 阅读全文
posted @ 2026-05-06 14:35
jeefy
阅读(2)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: Gating Networks 核心设计基于这样一个洞察点：数据增强后，其隐空间分布是相近的。 那么对于这个子监督学习的方法，我们自然的根据模型在隐空间上的分布距离来设计损失函数： \[\begin{aligned} {\rm sim} (z_i, z 阅读全文
posted @ 2026-04-30 20:12
jeefy
阅读(4)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: Gating Networks 主流的 MoE 范式。 模型的输出是： \[y = \sum G(x)_i E_i(x) \]其中 \(E_i(x)\) 是专家模型，\(G(x)\) 是门控网络的结果，具体来说： \[\begin{aligned} G 阅读全文
posted @ 2026-04-30 18:58
jeefy
阅读(4)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: FedProx 对于联邦学习，有一个非常重要的假设：No-IID 的数据分布。所以对于 FedAvg 其实不容易收敛（泛用性很差），直接平均可能震荡不收敛。所以提出了 FedProx，引入正则化参数，其基础还是 FedAvg 其中引入的两个放缩： \( 阅读全文
posted @ 2026-04-24 16:29
jeefy
阅读(14)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: PENS (Performance-Based Neighbor Selection) Decentralized federated learning of deep neural networks on non-iid data 依旧是建模起手 \ 阅读全文
posted @ 2026-04-23 10:25
jeefy
阅读(4)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: LSTM GRU（Gate Recurrent Unit）是一种 RNN，LSTM 也是一种 RNN，这两者都是为了解决 RNN 长程问题中的记忆衰减问题。一般来说，GRU \(\approx\) LSTM，但是 GRU 的计算损耗更低，所以 GRU 阅读全文
posted @ 2026-04-23 09:39
jeefy
阅读(5)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: RNN RNN 也就是循环神经网络。 其核心公式也就两个： \[\begin{aligned} z_t &= W_h h_{t - 1} + W_x x_t + b_1 \\ h_t &= f_1(z_t) \\ o_t &= W_y h_t + b_ 阅读全文
posted @ 2026-04-22 11:24
jeefy
阅读(6)
评论(0)
推荐(0)
浙公网安备 33010602011771号