近日，计算机与人工智能学院博士研究生巩帅为第一作者、崔超然教授为通讯作者撰写的论文“Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization”在图像处理领域国际顶级期刊IEEE Transactions on Image Processing（IEEE TIP）在线发表。IEEE TIP是中国计算机学会（CCF）推荐的A类国际学术期刊、中科院SCI一区Top期刊，为我校认定的特类期刊。

论文面向联邦域泛化（Federated Domain Generalization）这一挑战性问题，旨在保护数据隐私的前提下，利用去中心化的多源域数据训练出能够泛化至未知目标域的模型。目前，基于提示学习的视觉语言模型虽然被广泛用于解决该问题，但现有的“单一提示适配所有样本”模式难以应对样本的多样性，导致在个性化样本上的性能显著下降。而基于混合专家系统的改进方法虽然提供了一种解决方案，但往往受限于粗粒度的图像级专家分配，且依赖参数化的路由网络，在联邦学习场景下带来了高昂的通信开销。

针对上述局限，文章提出了一种基于无参路由的词元级提示混合方法。与现有方法不同，该方法将提示视为多个专家，并在token级别进行操作。通过将图像的不同token分配给不同的专家，模型能够精准捕捉细粒度的视觉模式。为了解决通信效率瓶颈，方法引入了一种基于容量感知聚类和最优传输的无参路由机制。实验结果表明该方法在众多基准数据集上均取得了最优的泛化性能，且每轮通信仅需传输约1K参数，极大地降低了通信成本，为联邦域泛化任务提供了一种高效且高性能的新范式。

撰稿：巩帅 审核：杨春丽 终审：李清照