优必选击败国际知名高校及科技巨头 获ECCV图像对话比赛冠军

潮流科技动态
3年前  
继8篇论文被计算机视觉领域的顶级学术会议ECCV 2018收录之后,9月12日,ECCV 2018的主办方宣布了第一届图像对话比赛(Visual Dialogue 2018)的结果,来自优必选悉尼AI研究院的DL61团队荣膺冠军,一举击败中科大、南阳理工、微软、以色列理工、UIUC以及首尔大学等近十支由国际知名高校和科技巨头组成的参赛团队。
继图像问答之后,图像对话也开始受到学术界以及工业界的广泛关注。不同于图像问答的主题单一、答案简单,图像对话在一次完整的对话中包含多个主题,答案更加完整和复杂。
因此任务要求AI不仅需要对图像进行理解,还要根据对话的上下文进行分析来推断其中的主题以及指代关系。同时该任务生成的回答更加偏向于自然语言,更方便人的理解。此任务帮助AI机器人在人机交互,视觉辅助等领域有重要的意义。
之前的图像问答模型和图像对话模型通常采用融合图像和问题以及历史对话的方法对候选答案进行打分。但是由于用户对答案的可读性以及可解释性要求更高,使得答案变得更加复杂以及包含更多信息。DL61团队提出可进一步让答案也融合图像,并且创新性提出两个阶段的排序模型。在第一阶段采用通用的排序模型,选出一些具有可能性的答案。在第二阶段,让这些可能的答案也参与到与图像的融合中或者让这些答案与图像进行匹配,这样描述越详细越符合图像的答案,分值越高。
此前,优必选研究院已经相继在RoboCup、2018 Robust视觉挑战赛(Robust Vision Challenge)图片深度识别单元(Single Image Depth Prediction)、2018视觉问答挑战赛( Visual Question Answering Challenge)等多项国际比赛上均取得佳绩。此次参加ECCV 2018第一届图像对话比赛,成功检验了优必选研究院在图像对话领域的研究成果,未来,通过包括ECCV在内的国际顶级学术会议,优必选将继续和相关领域的学者展开交流与学习,进一步提升公司的科研实力。
分享好友
分享好友