近日，IEEE/CVF计算机视觉国际顶级会议（CVPR 2024）公布了第六届人脸表情国际挑战赛（The 6th Workshop and Competition on Affective Behavior Analysis in-the-wild, 简称ABAW6）的结果，网易伏羲AI实验室团队再创佳绩，一举囊括了全部五项冠军，包括人脸表情/肌肉动作单元检测（AU）、人脸情绪识别（EXPR）、愉悦度-唤醒度估计（VA）、混合情绪识别（CE）和情绪模仿强度估计（EMI）五个赛道。这已是网易伏羲在该赛事中连续第四年获得冠军，今年首次实现了包揽五个赛道所有冠军，这些成果充分展现了网易伏羲在人脸表情感知领域的深厚技术底蕴与卓越创新能力。

　　据了解，CVPR是全球计算机视觉领域三大顶级学术会议之一，拥有40余年历史，以其严谨的学术标准、前沿的研究成果以及广泛的行业影响力而闻名遐迩，深受学术界与产业界的双重推崇。ABAW赛事是专注于自然环境下（in-the-wild）的人脸表情感知的国际赛事，致力于解决自然情境下计算机对人的情感行为进行分析的问题，并以此提升人机交互系统的场景应用能力，至今已成功举办六届。历年来，该赛事汇聚了来自世界各地的学术翘楚与业界巨头，包括南加州大学、中国科学技术大学、南洋理工大学、莱斯特大学、清华大学、天翼云、俄罗斯科学院、加拿大蒙特利尔计算机研究所、美国普渡大学等。在本届赛事中，网易伏羲凭借领先技术实力，从众多实力强劲的参赛队伍中强势胜出，包揽所有赛道冠军。这一成绩背后，离不开网易伏羲有灵平台提供的高质量数据标注，也离不开网易伏羲对面部表情的持续技术更新与积累。

一、网易伏羲实验室解决ABAW6挑战赛难题

　　人类情感行为分析旨在通过多种模态信息（视觉、听觉、文本等模态）来捕获人类有关表情和情绪的状态，从而分析人类内心的潜在目的或心理状况。该领域致力于自动识别、理解和解释人类情感表达和行为，以及将其应用于情感识别、人机交互、心理健康等领域。ABAW6包含了对面部表情分析相关的挑战，比如AU、EXPR和VA赛道，这三个赛道是延续了多届比赛的传统项目。除此之外，今年ABAW6还新增了混合情绪识别（CE）和情绪模仿强度估计（EMI）这两个全新的赛道。CE赛道提供了56个无任何标注的视频，希望参赛者利用已有的任何数据和预训练模型去预测7种混合情绪；EMI赛道提供模仿特定情绪的“源”视频的模仿视频，希望参赛者通过模仿者的模仿视频来预测“源”视频的情感强度。五个赛道分别有不同的巨大应用价值，也带来不同的挑战。针对这些挑战，网易伏羲提出自研解决方案，为相关技术实际落地提供了全新思路。

　　前三个赛道的基本框架与上届比赛类似，网易伏羲采用自研的Masked Autoencoder (MAE) 作为视觉特征的提取网络。与上届比赛不同的是，本届比赛依靠网易伏羲有灵平台对人脸表情数据的长期积累，扩充了近一倍的预训练图像数据，有效帮助MAE提升对人脸面部特征的提取能力，从而有效帮助下游任务的指标提升。AU、VA、EXPR赛道同时结合了视觉和听觉的多模态信息。第四赛道我们将单分类问题转换为多标签分类问题，并利用AU赛道的模型作为预训练模型，同时结合RAF-compound，EXPR赛道数据和网易伏羲私有的表情数据集，进行多标签分类任务训练，并最终将多标签结果转换为指定的混合情绪单标签结果。EMI赛道与前三个赛道不同，进一步加入了文本模态的信息，用以弥补部分模仿者表情模仿不到位的信息缺失。

　　本次比赛中的表情感知算法，不仅可以实现常规的8种表情分类，还可以按照网易伏羲曾经在电气和电子工程师协会（IEEE）官网发布的135种人脸表情划分的标准，对人脸表情进行逐帧细粒度理解。本次比赛的算法可以对视频中每帧画面的人脸分析135类细粒度表情强度，并显示当前的主要几种细粒度表情。这一细粒度、高精度的表情理解技术，可以为影视、教育、健康等行业提供更加智能的分析与辅助工具。

二、为“全球首款AI游戏”带来全新体验

　　得益于本次比赛中展现出的先进表情理解技术，网易伏羲成功将其创新成果应用于《逆水寒》手游，合作推出别具一格的“剧组模式”玩法，一经上线便广受好评。“剧组模式”的核心魅力在于能够赋予玩家前所未有的能力，在表情理解技术加持下，玩家能够将现实生活中丰富多元的表情、表情包以极高精度和细腻质感复刻至游戏世界，亲手打造出一个“会呼吸的江湖”。

　　作为一款全新的、基于游戏本体的AI影片生成工具，“剧组模式”让玩家在游戏中实现了“打打字就能出大片”。在网易伏羲技术支持下，玩家无需具备专业的影视制作技能，只需凭借自己的创意灵感，即可轻松驾驭各类表情元素，将内心的情感世界以鲜活生动的方式投射到游戏之中。

　　无论是喜怒哀乐的瞬息变幻，还是微妙复杂的内心波动，都能通过玩家指尖的轻触，瞬间转化为游戏角色的真实反应，通过AI技术赋予游戏人物独立的灵魂与情感脉络，让整个江湖因此而变得更具人情味与沉浸感。在《逆水寒》手游“剧组模式”中，玩家能够自行体验自由操控角色表情，深度参与剧情演绎的乐趣，亲身体验虚拟世界的情感交融。

动图来自抖音用户@王改改

　　除了表情之外，“剧组模式”全新“AI动捕”功能还支持上传舞蹈、动作，利用AI实时动捕，让您的角色在游戏中直接演绎。这一革新性玩法，不仅拓宽了玩家在游戏内的自我表达空间，更极大地降低了内容创作的门槛，使每一个玩家都有机会成为游戏世界的导演与编剧，自由挥洒创意，编织属于自己的情感故事。

　　这种全民皆可参与、人人皆能创作的新生态，标志着一个崭新的“全民创作时代”已然来临。在这个时代里，游戏不再仅仅是被动体验的载体，而是一个玩家情感交流、艺术创作的共享舞台，真正实现了游戏与现实、技术与情感的深度融合，也逐步开启了游戏社交互动与个性化表达的全新篇章。

三、赋能影视创新与增效，重塑内容创作生态

　　网易伏羲在表情理解技术领域的重大突破，不仅为游戏行业带来了全新交互体验与创作革新，更预示着其在影视文娱创作领域蕴含的巨大潜力与广阔前景。随着数字娱乐产业与技术融合趋势日益明显，表情理解技术也将为影视娱乐制作公司开辟全新的创作路径，提供极具价值的服务与解决方案。

　　一方面，表情理解技术能大幅提升角色表演的真实感与感染力，通过精准捕捉并实时映射演员的细微表情至虚拟角色，使得数字角色能够细腻呈现喜悦、悲伤、愤怒等各种复杂情感，营造出高度沉浸式的观影体验，实现艺术与技术的深度交融。另一方面，它能显著提高影视制作效率与成本效益，利用实时表情捕捉设备或预录表情数据，快速生成高质量的数字角色表情动画，有效缩短制作周期，削减人工成本，使创作流程更为高效经济。此外，通过对海量观众表情数据的分析，该技术还能为剧本创作与角色塑造提供数据驱动的决策支持，帮助制作方精准把握市场偏好，优化情节设计，塑造更具吸引力的角色形象，甚至可用于演员选角与表演指导，通过分析候选演员的表情库评估其对特定角色情绪演绎的契合度，确保角色塑造的精准性。

　　此次，网易伏羲包揽CVPR2024人脸表情国际挑战赛所有冠军，再次验证了其在相关领域的深厚积累与技术实力，通过将此类前沿技术成功应用至《逆水寒》手游“剧组模式”等创新玩法中，切实提升了用户的沉浸式游戏体验，更赢得了市场的肯定与喜爱。未来，随着表情理解技术在影视文娱创作行业的深入渗透，无疑将进一步打破传统创作边界，激发更多富有创意的内容产出，赋能影视产业实现质的飞跃。

　　展望未来，网易伏羲将继续秉持技术创新的精神，积极推动表情理解技术的研发与升级，打造更加真实、生动且富有情感温度的影像世界。我们期待，在不远的将来，无论是在虚拟的游戏江湖还是现实的荧幕之上，都能看到网易伏羲表情理解技术所带来的颠覆性改变与精彩呈现，见证一个全民共创、科技与艺术深度交融的美好未来。