近日,计算机与人工智能学院崔超然教授作为第一作者撰写的两篇论文分别在计算机学科国际权威学术期刊《IEEE Transactions on Image Processing》和《Science China Information Sciences》发表。两期刊均为中国计算机学会(CCF)推荐的A类国际期刊、中科院SCI一区Top期刊,系我校特类期刊。
两论文均聚焦于大模型领域的前沿方向——提示调优(prompt tuning),旨在探索通过学习优化提示词来引导大模型高效地适配下游任务。其中,论文《When adversarial training meets prompt tuning: Adversarial dual prompt tuning for unsupervised domain adaptation》针对无监督领域自适应任务,提出了一种对抗性双提示调优方法,该方法通过协同利用文本提示与视觉提示来引导视觉语言模型,使得模型在利用源域有标记数据和目标域无标记数据进行训练后,能在目标域上展现出优异的泛化性能。与传统方法中文本提示与视觉提示通常被独立优化或简单联合优化不同,该方法将文本提示学习与视觉提示学习整合到一个统一的对抗训练框架中。在此框架下,文本提示学习侧重于最大化区分源域与目标域样本,而视觉提示学习则聚焦于有效实现源域与目标域的特征对齐;论文《Dynamic prompt allocation and tuning for continual test-time adaptation》旨在解决大模型在持续学习和适应不断变化的数据时普遍存在的“灾难性遗忘”问题。该方法为不同的数据领域分配其专属提示词,以此解耦不同领域的学习过程,从而减少领域间的相互干扰。同时,方法还设计了一种动态查询机制,能在数据所属领域未知的情况下,自动为输入数据匹配现有提示或创建新提示,从而提升模型在动态环境下的适应能力和稳定性。
撰稿:赵连幸 审核:杨春丽 编辑、终审:李清照