结合单流网络的自监督语音-人脸跨模态学习方法

小型微型计算机系统页数： 8 2024-12-04

摘要：现有的非监督语音-人脸跨模态关联学习方法多采用双流网络结构，在降低计算复杂度和实现高效非监督方法方面还面临一些挑战，为了改善模型性能，提高跨模态学习的效率，提出一种结合单流网络的自监督语音-人脸跨模态学习方法.首先，将预处理的两种模态数据送入单流特征提取网络，然后对提取的两种模态特征向量进行基于注意力机制的特征融合得到视频粒度的特征表示用以在线深度聚类，最后使用聚类步骤生成的伪... （共8页）

开通会员，享受整站包年服务

说明：本文档由创作者上传发布，版权归属创作者。若内容存在侵权，请点击申诉举报

科技文档

数学力学化学金融证券保险投资会计审计园艺林业旅游体育物理学生物学天文学气象学海洋学地质学新能源金属学农艺学农作物管理学领导学自然科学系统科学资源科学无机化工有机化工燃料化工化学工业材料科学矿业工程冶金工业安全科学环境科学工业通用机械工业无线电子电信技术铁路运输汽车工业船舶工业动力工程电力工业农业科学农业工程植物保护动物医学教育理论学前教育初等教育中等教育高等教育职业教育成人教育自然地理地球物理经济统计农业经济工业经济交通经济企业经济文化经济信息经济贸易经济财政税收市场研究科学研究互联网自动化轻工业核科学服务业石油然气服务业野生动物水产渔业硬件仪器仪表航空航天武器军事公路运输水利水电建筑科学软件