提示学习研究综述

计算机工程与应用页数： 27 2024-11-21

摘要：经过微调的预训练语言模型在各领域任务中均取得了显著的性能。但是，预训练和微调之间在训练数据和目标函数方面存在着巨大差距，阻碍了预训练语言模型对下游任务的有效适应。提示学习的提出缩小了预训练和微调之间的差距，并可以很好地应用到小样本甚至零样本场景中。提示学习的核心思想是将提示模板插入到原始输入中，将下游任务数据转化为自然语言的形式输入到预训练模型中，输出预测结果，然后通过语言表达... （共27页）

开通会员，享受整站包年服务

科技文档

数学力学化学金融证券保险投资会计审计园艺林业旅游体育物理学生物学天文学气象学海洋学地质学新能源金属学农艺学农作物管理学领导学自然科学系统科学资源科学无机化工有机化工燃料化工化学工业材料科学矿业工程冶金工业安全科学环境科学工业通用机械工业无线电子电信技术铁路运输汽车工业船舶工业动力工程电力工业农业科学农业工程植物保护动物医学教育理论学前教育初等教育中等教育高等教育职业教育成人教育自然地理地球物理经济统计农业经济工业经济交通经济企业经济文化经济信息经济贸易经济财政税收市场研究科学研究互联网自动化轻工业核科学服务业石油然气服务业野生动物水产渔业硬件仪器仪表航空航天武器军事公路运输水利水电建筑科学软件