9728太阳集团金琴教授团队2篇长文被ACL 2021录用

 

近日，9728太阳集团多媒体计算实验室金琴教授团队两篇长文被自然语言处理领域顶会ACL 2021 (main conference)录用。计算语言学协会年会(ACL, Annual Meeting of the Association for Computational Linguistics)是计算语言学和自然语言处理领域最重要的顶级国际会议之一，由国际计算语言学协会组织，每年举办一次，是CCF-A类推荐会议。ACL 2021将于2021年8月1日至6日在泰国曼谷举办。 

论文介绍

1.    Missing Modality Imagination Network for Emotion Recognition with Uncertain Missing Modalities

作者：赵金明，李瑞晨，金琴 

通讯作者：金琴

论文概述：

 

在以往的多模态情感识别工作中，多模态融合技术往往可以提高情感识别模型的识别能力。但是在实际应用中，我们经常会遇到模态缺失的问题，同时我们并不知道具体哪种模态的信息会丢失。在这种情况下，在完整模态上训练的模型的情感识别能力会遇到很大的影响。

在这项工作中，我们提出了缺失模态想象网络（MMIN），它是一个可以应用于各种不同的缺失模态场景的统一模型。 MMIN学习鲁棒的联合多模态表示，根据已有模态的信息预测缺失模态的特征表示。我们在两个基准数据集上的实验表明，在不确定的缺失模态测试条件和全模态测试条件下，我们提出的MMIN模型都能显著提高多模态情感识别的性能。

 

2.    MMGCN: Multimodal Fusion via Deep Graph Convolution Network for Emotion Recognition in Conversation

作者：胡景文，刘宇辰，赵金明，金琴

通讯作者：金琴

论文概述：

对话中的情感识别（ERC）是情感对话系统中的重要组成部分，这个任务能够帮助系统理解用户的情感并生成富含情感的回答。目前ERC这个任务上的大多数工作主要基于文本模态对对话者信息和上下文信息进行建模，或者简单地对多模态特征进行拼接来利用多模态信息，没有有效地利用多模态的信息。

为了探索一种更有效的方式来对多模态信息和长距离上下文依赖进行建模，我们在这篇工作中提出了一种多模态的图卷积神经网络（MMGCN）。MMGCN不仅能够充分利用多模态依赖，而且能够利用speaker的信息来对对话者之间的依赖和对话者内部的依赖进行建模。我们在两个公开的数据集(IEMOCAP和MELD)上进行了实验，结果证明了MMGCN的有效性，在多模态的设置下超过了这个任务上其他SOTA的方法。