本发明提供了一种面向不确定模态缺失的多模态意图识别方法及系统,属于数据处理技术领域。首先,通过LSTM编码器进行特征提取;其次,通过基于注意力的双向门控多模态特征融合方法进行多模态特征融合,并基于CMD的距离约束策略拉近各个模态到文本模态的距离;然后,将融合后的多模态特征输入Transformer编解码器进行学习,同时,根据不确定模态缺失情况,输入不同的注意力级提示,从而引导网络关注那些缺失的模态;最后,将多模态特征输入分类器进行意图识别;同时,在训练过程中以全模态场景下预训练的模型在分类器对模型进行指导,从而帮助模型在减少过拟合的同时进一步提升泛化能力。 |