模态识别在计算机视觉应用 相关性学习在计算机视觉任务中的研究与应用

人类视觉具备多种多样的能力，而计算机视觉则基于此定义了许多不同的视觉任务。如今，计算机视觉已解决大多数视觉任务，但现有方法大多采取将视觉任务逐一击破，而忽略了大部分的数据和任务都是存在相关性的。相关性学习是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个变量的相关密切程度。

目前，相关性学习已经在诸多计算机任务中应用，在迁移学习中，由于大部分的数据和任务是相关的，所以可以让迁移学习将预训练模型的参数迁移到新模型，加快并优化模型的学习效率；在跨模态学习中，由于存在大量不同模态内容(文本、图像、视频、音频、传感器数据、3D 等)，但这些不同模态的内容在具体应用中具有高度相关性，利用数据之间的相关性可以有效的避免重复学习，从而提升整体模型的学习能力。

除了上面两个任务外，相关性学习还有哪些应用呢？12月17日晚8点，智东西公开课邀请到悉尼科技大学讲师朱霖潮参与到「CV前沿讲座」第26讲，带来主题为《相关性学习在计算机视觉任务中的研究与应用》的直播讲解。朱老师将从相关性学习的定义与研究入手，详细分析相关性学习在迁移学习、跨模态学习、视频分类模型对抗攻击中的应用。

朱霖潮是悉尼科技大学讲师，分别于和获得浙江大学本科和悉尼科技大学博士学位，和于卡内基梅隆大学访学。朱老师长期关注视频行为理解，无监督视频特征学习，曾获得美国国家标准总局TRECVID比赛冠军，EPIC-Kitchens，THUMOS动作识别比赛冠军。