面向联邦大语言模型训练的传输优化技术综述

摘要： 随着人工智能技术的快速发展，各类大型语言模型不断涌现。但是专用大语言模型的用户及数据集大多具有隐私性和安全性要求，数据安全隐私问题亟待解决。在此背景下，联邦大语言模型应运而生并得到越来越多的关注。由于大型语言模型庞大的数据量以及联邦学习的分布式架构，海量的参与节点与云服务器间进行大量的模型交换会产生较高的通信成本。为提升模型收敛速率，研究人员对面向联邦大语言模型训练的传输优化技... （共14页）