AAAI 2026：趣丸科技Playmate2，实现业内首个支持三人及以上同屏驱动的算法

近日，趣丸科技数字人团队发表的《Playmate2: Training-Free Multi-Character Audio-Driven Animation via Diffusion Transformer with Reward Feedback（基于奖励反馈和扩散Transformer的免训练多角色语音驱动方法）》论文被人工智能顶会AAAI 2026接收。

AAAI 由国际人工智能促进协会（Association for the Advancement of Artificial Intelligence, AAAI）主办，是人工智能领域极具影响力的国际顶级学术会议之一，也是中国计算机学会（CCF）推荐的 A 类国际学术会议，在全球学术界和工业界具有广泛影响力。本届会议共收到来自世界各地的投稿摘要31000篇，最终录用4167篇，录用率仅为17.6%，创历史新低。

这是继今年5月Playmate入选ICML后，趣丸科技在数字人驱动方向的研究成果再次获得国际顶级AI学术会议认可。

 

在数字人技术蓬勃发展的今天，如何让多个虚拟角色在同一画面中自然、精准地互动，一直是业内的巨大挑战。

它创新性地提出Mask-CFG技术，以免训练方式实现业内首个支持三人及以上同屏驱动的算法（简称Playmate2）。只需输入参考图像、文本提示和音频流，即可生成口型精准同步、表情丰富、肢体动作自然的数字人口播视频，为影视制作、电商视频创作等场景带来了全新可能。简单来说，Playmate2是一个能让你“一键导演”数字人小剧场的强大工具。

论文地址：

https://arxiv.org/abs/2510.12089

项目网站：

https://playmate111.github.io/Playmate2

GitHub地址：

https://github.com/Playmate111/Playmate2

 

Playmate2以Wan2.1为基础模型，能够从单张参考图像、一段文本提示和音频片段生成高质量的人像视频，并支持多人同屏驱动能力。整体框架见下图：

 

亮点1：长视频生成质量达到新高度

采用 LoRA长视频优化技术，有效解决了长序列生成中的时序抖动和ID漂移难题，能够生成时间更长、角色一致、画面更稳定的高质量视频。

亮点2：智能奖励反馈提升驱动效果

引入DPO奖励反馈机制，自动优化口型同步与身体动作的自然度。基于LatentSync模型进行智能偏好对齐，让生成效果不仅指标高，更符合人类的审美感受。

亮点3：实现免训练的多人同屏驱动

核心创新Mask-CFG技术，无需为多人场景重新收集数据或训练模型，极大地降低了技术应用的门槛与成本，支持更灵活、更高效地探索多角色互动场景。

实验证明，Playmate2在图像和视频质量指标上均取得最佳结果，唇形同步方面同样表现优异，在定量性能上优于同时期SOTA算法。

跟当前最先进的音频驱动动画方法对比，我们的Playmate2生成的面部表情更自然生动，视频质量大有提升。

Playmate2 的价值在于以简单高效的方法，显著提升视频生成大模型在音频驱动场景下的生成质量，并有效拓展其能力边界——成功解锁三人及以上同屏驱动这一关键能力，为影视制作、虚拟现实和互动媒体等领域提供了强有力的技术支撑。

未来，Playmate2 有望集成运镜控制、多参考图生成等能力，并借助更多样化的训练数据进一步提升生成质量与可控性，为音频驱动视频生成领域开拓新的可能性。