结合迁移学习和Transformer模型的低资源多模态语音情感识别

摘要： 语音情感识别长期面临单模态语音对情感信息体现不足，以及语料库规模通常较小的问题。针对这两个问题，文章提出了一种多模态情感识别与迁移学习相结合的方法，利用包含语音和声门波信号的多模态数据充分获取语音中的情感信息，并通过多情感语料库间的信息迁移，对低资源的单一语料库进行扩充，使其可以适应深度学习算法，并以Transformer模型作为迁移学习使用的基础网络，达到提升语音情感识别性能... （共9页）