Wan2.2-Animate – 阿里通义开源的动作生成模型

Wan2.2-Animate是什么

Wan2.2-Animate是阿里通义团队推出的动作生成模型，模型同时支持动作模仿和角色扮演两种模式，能基于表演者的视频，精确复制面部表情和动作，生成高度逼真的角色动画视频。模型能将动画角色无缝替换进原视频，完美匹配场景的光照和色调。模型基于Wan模型构建，通过空间对齐的骨骼信号控制肢体动作，用从源图像中提取的隐式面部特征重现表情，实现高度可控和富有表现力的角色视频生成。现在可通义万相官网直接在线体验Wan2.2-Animate模型。

Wan2.2-Animate的主要功能

• 动作模仿 ：输入一张角色图片和一段参考视频，模型将参考视频中角色的动作和表情迁移到输入的图片角色中，使静态图片角色具有动态表现力。
• 角色替换 ：在保留原始视频的动作、表情及环境的基础上，将视频中的角色替换为输入的图片中的角色，实现无缝融合。

Wan2.2-Animate的技术原理

• 输入范式：修改Wan模型的输入范式，将参考图像输入、时间帧引导和环境信息统一到一个共同的符号表示中，适应角色动画任务的需求。
• 肢体动作控制：用空间对齐的骨骼信号复制身体动作。骨骼信号能精确地描述角色的肢体运动，通过将信号与角色图像相结合，实现角色肢体动作的精确控制。
• 面部表情控制：用从源图像中提取的隐式面部特征作为驱动信号重现表情。隐式特征能捕捉到角色面部的细微表情变化，实现高度逼真的表情再现。
• 环境融合：为增强角色替换时与新环境的融合，开发了一个辅助的Relighting LoRA模块。模块能在保持角色外观一致性的同时，将角色与新环境的光照和色调相匹配，实现无缝的环境融合。

如何使用Wan2.2-Animate

• 访问通义万相官网：访问通义万相官网，登录平台。