摘要：
可能更好的阅读体验 Jeefy's Blog: 重要性采样定理 核心思想：为什么需要重要性采样？ 在深度学习的随机梯度下降 (SGD) 中，传统的均匀采样 (Uniform Sampling) 会平等地对待所有训练样本。然而，随着训练进行，模型对许多“简单”样本已经表现良好，继续频繁采样这些样本会减 阅读全文
posted @ 2026-09-26 21:04
jeefy
阅读(5)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: 凸优化 仿射集 \[\forall x_1, x_2 \in C, \forall \theta \in {\mathbb R}, \theta x_1 + (1 - \theta) x_2 \in C \]任意仿射集可以表示为一个线性方程组的解！ 仿 阅读全文
posted @ 2026-09-26 21:03
jeefy
阅读(7)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: FedML Federated Mutual Learning.pdf \(\Delta\) Non-IID 是特征而不是缺陷，这是个性化的体现！ 需要特别注意的点，这里的目标不再是获取全局的优解，而是获取 PM。 全局模型仅作为知识媒介，将知识在不同 阅读全文
posted @ 2026-09-26 21:03
jeefy
阅读(2)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: Co-PLMs TL;DR 核心思想：用蒸馏代理模型（DPM）作为云 LLM 和边缘 SLM 之间的桥梁，同时解决模型异构（参数空间不通）+ 领域异构（Non-IID）+ 通信隐私三个问题。关键组件：DPM（异构桥接）+ Domain Adapter（ 阅读全文
posted @ 2026-09-26 21:03
jeefy
阅读(2)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: FedMoE FedMoE 通过两阶段“先搜索最优专家子集、后联邦协同训练”的范式，以及通过模块化聚合与全局专家推荐机制动态调整结构 ，解决 Non-IID 数据分布，任务类型差异等问题。 核心问题： 传统 dense 模型共享全部参数会导致不同任务间 阅读全文
posted @ 2026-09-26 21:02
jeefy
阅读(3)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: ML-ECS 核心问题： 模态异构型 模型结构异构型 四个核心组件： CCL（Cross Modal Contrastive Learning） 模态统一映射到一个潜空间 AMT（Adaptive Multimodal Tuning） 在联合学习中保持 阅读全文
posted @ 2026-09-26 21:02
jeefy
阅读(5)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: pFedMe pFedMe.pdf 建模，依旧标准建模 + 正则化（采用的是 Moreau Envelope 形式化）： \[\min \sum F_i(\omega) = \min \sum \min_{\theta_i} f_i(\theta_i) 阅读全文
posted @ 2026-09-26 21:02
jeefy
阅读(5)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: WDMoE 就是把 MoE 的门控和门控后的 Experts 放在了不同的设备进行。 Token 级别的 Latency \[t^i_{j,q} = t_{upload} + t_{compute} + t_{download} \]具体的计算方式见论 阅读全文
posted @ 2026-09-26 20:57
jeefy
阅读(3)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: SLM-MUX 整体是一个三阶段方案 （1）SLM-MUX 架构 独立生成阶段：每个 SLM 对同一问题以温度 > 0 独立采样 k 个答案； 置信度估计阶段：取每个模型的众数答案，以该答案在采样中的出现频率作为置信度分数；选置信度最高的模型的答案作为 阅读全文
posted @ 2026-09-26 20:55
jeefy
阅读(4)
评论(0)
推荐(0)
摘要：
可能更好的阅读体验 Jeefy's Blog: Swarm-LLM https://github.com/mdahshan/swarm_llm H：论文称之为 "normalised sequence entropy"： \[H_i(t)=-\frac{1}{N}\sum_{j=1}^{N} P_i 阅读全文
posted @ 2026-09-26 20:55
jeefy
阅读(4)
评论(0)
推荐(0)
浙公网安备 33010602011771号