基于多模态联合建模的端到端语音到文本翻译

小型微型计算机系统页数： 7 2024-11-08

摘要：通过联合建模或多任务学习，可以利用大规模的语音识别和文本翻译数据来提升端到端语音到文本翻译的性能.然而，现有大多数方法通常需要对语音翻译模型进行架构调整，或者依赖多阶段的预训练和微调.此外，语音与文本之间的模态差异使得使用共享编码器同时处理二者变得具有挑战性.为了解决这些问题，本文提出了一个简单的多模态联合建模框架.该框架将语音翻译和文本翻译的联合建模视作多语言神经机器翻译建模... （共7页）

开通会员，享受整站包年服务

说明：本文档由创作者上传发布，版权归属创作者。若内容存在侵权，请点击申诉举报

科技文档

数学力学化学金融证券保险投资会计审计园艺林业旅游体育物理学生物学天文学气象学海洋学地质学新能源金属学农艺学农作物管理学领导学自然科学系统科学资源科学无机化工有机化工燃料化工化学工业材料科学矿业工程冶金工业安全科学环境科学工业通用机械工业无线电子电信技术铁路运输汽车工业船舶工业动力工程电力工业农业科学农业工程植物保护动物医学教育理论学前教育初等教育中等教育高等教育职业教育成人教育自然地理地球物理经济统计农业经济工业经济交通经济企业经济文化经济信息经济贸易经济财政税收市场研究科学研究互联网自动化轻工业核科学服务业石油然气服务业野生动物水产渔业硬件仪器仪表航空航天武器军事公路运输水利水电建筑科学软件