登录    注 册
属 地 烟台 莱山区 专利申请号 202410477786X 专利权人 烟台大学
申请日 2024-04-19 授权日 2024-12-24 专利名称 面向不确定模态缺失的多模态意图识别方法及系统
关键词 应用领域
创新点
技术分类 标 签 战兴产业     
地 址 山东省烟台市莱山区清泉路30号
运营方式 普通许可,专利转移 合作方式 普通技术转移
联系人 王大伟 联系电话 13708925422 电子邮箱
详细说明
本发明提供了一种面向不确定模态缺失的多模态意图识别方法及系统,属于数据处理技术领域。首先,通过LSTM编码器进行特征提取;其次,通过基于注意力的双向门控多模态特征融合方法进行多模态特征融合,并基于CMD的距离约束策略拉近各个模态到文本模态的距离;然后,将融合后的多模态特征输入Transformer编解码器进行学习,同时,根据不确定模态缺失情况,输入不同的注意力级提示,从而引导网络关注那些缺失的模态;最后,将多模态特征输入分类器进行意图识别;同时,在训练过程中以全模态场景下预训练的模型在分类器对模型进行指导,从而帮助模型在减少过拟合的同时进一步提升泛化能力。
【关 闭】