基于自适应梯度调制的音视频多模态平衡学习方法

摘要： 针对音视频多模态学习中因异质学习速率导致单一模态主导模型学习过程,抑制其他模态学习,进而削弱多模态协同决策效果的问题,提出一种基于自适应梯度调制的多模态平衡学习方法 (adaptive gradient modulation based compensation and regularization, AGM-CR)。首先,根据模态间的学习梯度差异引入调制系数来自适应调整各模态... （共10页）