文章分类 -  大语言模型-联邦学习技术应用结合调研

FEDERATEDSCOPE-LLM A COMPREHENSIVE PACKAGE FOR FINE-TUNING LARGE LANGUAGE MODELS IN FEDERATED LEARNING
摘要：1、文章贡献 （1）FS-LLM 将来自不同领域、异构程度可调的各种联邦微调数据集和一套相应的评估任务打包在一起，形成一个完整的流程，用于在 FL 场景中对联邦微调 LLMs 算法进行基准测试。 （2）FS-LLM具有低通信和计算成本的特点，可以让客户端不用访问完整模型也能满足需求 （3）FS-LL 阅读全文
posted @ 2024-06-23 00:00 sftsgly 阅读(147) 评论(0) 推荐(0)
GPT-FL GENERATIVE PRE-TRAINED MODELASSISTED FEDERATED LEARNING
摘要：1、文章贡献 （1）摆脱了对公共数据集的依赖，拥有更多的应用灵活性 （2）合成数据的生成与联邦学习过程是解耦的，从而让合成数据不受客户端的数据分布和模型结构的影响 （3）提供了一种更有效的方式来利用外部数据，能够降低FL的通信和计算成本 （4）下游模型的生成在服务器进行，减少了客户端的计算负担 （5 阅读全文
posted @ 2024-06-22 23:47 sftsgly 阅读(71) 评论(0) 推荐(0)
Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization
摘要：1、文章贡献 （1）提出了一种具有自适应优化的高效参数提示微调方法 FedPepTAO （2）提出了一种评分方法来分析每一层与LLM输出结果的相关性，进而能够得对层进行筛选，从而减少通信成本 （2）在服务端和客户端提供了独创的自适应优化方法来缓解客户端漂移问题 （3）在准确性和效率上比其他的传统方法 阅读全文
posted @ 2024-06-22 23:27 sftsgly 阅读(141) 评论(0) 推荐(0)
Low-Parameter Federated Learning with Large Language Models
摘要：（1）方法分类 【1】前缀微调 在模型输入前构造一段和任务相关的前缀，训练时只更新前缀部分参数，其余参数固定，常用于自然语言生成任务 图一： 前缀微调 【2】P微调（P-Tuning） 和前缀微调类似，但只在嵌入输入层添加token，且插入位置可选，不一定为前缀，常用于自然语言理解任务 图二 ：P- 阅读全文
posted @ 2024-06-22 23:10 sftsgly 阅读(118) 评论(0) 推荐(0)
Federated Large Language Model : A Position Paper
摘要：1、LLM大模型遇到的问题 （1）过度依赖公共数据 目前的LLM模型训练依赖于公共数据，而公共领域的数据存在局限性，无法满足LLM 的训练要求 【1】优质的公共数据集将无法满足日益增长的LLM 模型训练需求 【2】过度依赖于公共数据集可能会导致模型训练结果同质化 （2）隐私数据的困境 私人领域的数据 阅读全文
posted @ 2024-06-22 17:53 sftsgly 阅读(207) 评论(0) 推荐(0)