1、实验室团队简介
我们生活在多模态的世界中,通过视觉、听觉、语言等不同模态进行学习、思考和表达。因此对于人工智能而言,深度理解我们生活的多模态世界是必不可少的能力。9728太阳集团AI·M³实验室的主要研究方向就是对视觉,语言和语音等多媒体内容的深度语义理解,其中M³ 代表了深度理解的3个不同维度:
Multi-Level (多层次):从易到难的不同层次学习。例如,从识别图像中的物体到构建图像整体的场景图,再到生成自然语言描述图片内容等。
Multi-Aspect (多方位):从客观、主观等多方位理解世界。客观理解是人工智能的IQ,而主观理解则是人工智能的EQ,让人工智能得以理解人类的情感从而进行更好的交互。
Multi-Modal (多模态):融合语音、文本、图像、视频等不同模态信息的全面理解。
实验室主页:https://www.jin-qin.com/AIM3-Lab.html
实验室知乎专栏:https://www.zhihu.com/column/c_1129360636513161216
2、科研方向及成果
AI·M³多媒体计算实验室由金琴教授带领,目前团队包括7名博士生,15名硕士生和若干名有志于科研的本科生。金琴教授于清华大学计算机科学与技术系获得学士、硕士学位,美国卡内基梅隆大学计算机学院语言技术系获得博士学位。实验室主要研究领域包括多媒体智能计算、人机交互等。在视觉描述生成、多媒体情感计算、跨模态交互等研究与应用中取得了杰出成就。
AI·M³研究团队在多项国际赛事上取得了优异的成绩,包括:蝉联2018-2020年CVPR ActivityNet Dense Video Captioning Task冠军;蝉联2017-2019年ACM Multimedia Audio-Visual Emotion Challenge (AVEC) 语音视觉情感识别挑战赛冠军;蝉联2017-2021年TRECVID视频描述生成(VTT)冠军;2019年之江杯全球人工智能大赛视频内容描述生成冠军等。相关研究工作发表于国际顶级会议,包括CVPR, ACL, ACM Multimedia, AAAI, IJCAI等。金琴教授指导的博士生陈师哲荣获百度全球奖学金(全球10位)。