登录    注 册
属 地 烟台 莱山区 专利申请号 2025111711490 专利权人 烟台大学
申请日 2025-08-21 授权日 2025-11-04 专利名称 一种基于解构式蒸馏的低资源语言翻译方法及系统
关键词 应用领域
创新点
技术分类 标 签 战兴产业     
地 址 264003 山东省烟台市莱山区清泉路30号
运营方式 普通许可,专利转移 合作方式 普通技术转移
联系人 刘俞斌 联系电话 13723944337 电子邮箱
详细说明
本发明涉及语言翻译技术领域,尤其是涉及一种基于解构式蒸馏的低资源语言翻译方法及系统,所述方法,包括获取低资源语言与通用语言的平行语料数据;以平行语料数据作为输入构建教师模型,基于预训练完成的BERT大语言模型构建学生模型主干并对学生模型进行优化,基于教师模型和学生模型计算跨任务注意力对齐损失,基于教师模型和学生模型输出执行logits蒸馏,基于训练完成的学生模型完成低资源语言翻译的部署,本发明通过构建经全参数微调的BERT教师模型,为学生模型提供高质量的知识迁移源,同时,借助跨任务注意力对齐与logits蒸馏的双重监督,有效弥补低资源语言数据不足导致的翻译精度问题。
【关 闭】