VACE 是由阿里巴巴、通义实验室和Wan团队联合开发的全能型AI模型,专为视频创作与编辑设计。
它支持多种任务,包括:
Reference-to-Video Generation
Video-to-Video Editing
Masked Video-to-Video Editing
VACE的独特之处在于用户可以自由组合这些任务,探索更多创作可能性,简化工作流程。
VACE提供一系列"Anything"功能,满足各种视频创作与编辑需求
自由移动视频中的对象,保持自然视觉效果
替换视频中的对象,同时保持动作和上下文的一致性
基于参考图像生成视频,保持风格和内容的一致性
扩展视频的视野范围,添加合理且连贯的额外内容
为静态内容赋予生动的动画效果,创造引人入胜的视频
VACE利用扩散变换器 (Diffusion Transformer)技术生成和编辑高质量视频,同时保持时间和空间动态的一致性。
这种统一的方法简化了用户工作流程,减少了对多个独立工具的需求,提高了视频创作和编辑过程的整体效率。
VACE与Wan 2.1的深度集成增强了特定视频编辑任务的功能
利用Wan 2.1提供精确的视频控制能力,实现姿态控制等高级功能
通过简单的文字提示替换视频中的对象,例如将柠檬变成苹果
使用参考图像替换视频中的对象,保持风格一致性和上下文融合
在MimicPC工作流程中,用户可以在"WanVideo TextEncode"节点中输入提示词来替换视频中的对象。
此外,启用"WanVideo TeaCache"节点可以加速视频生成,但可能会降低视频质量。
用户可以调整宽度、高度、帧率和帧数等参数来自定义视频分辨率和长度,社区讨论中指出设置Step=30可获得良好的2D视频效果,Step=50可获得更清晰的真人面部纹理。
VACE支持任意分辨率的输入,但在特定的视频尺寸范围内可获得最佳效果
通过官方GitHub仓库提供的命令行界面进行端到端推理:
python vace/vace_pipeline.py --base wan --task depth --video assets/videos/test.mp4 --prompt 'xxx'
输出将保存到./results/
目录
使用以下命令启动交互式Gradio演示:
python vace/gradios/preprocess_demo.py
python vace/gradios/vace_wan_demo.py
python vace/gradios/vace_ltx_demo.py
社区平台(如Reddit)上的讨论亮点了VACE的先进功能,如姿态控制和ControlNets,这些功能与其他模型(如Hunyuan)相比具有独特优势。
用户评论如"视频的ControlNets?太棒了!"反映了对其精确视频编辑潜力的兴奋。
社区也对其开源发布充满期待,与Pika Labs等平台进行比较,并普遍表达出对其潜力的热情。
"这看起来太酷了!"
Reddit用户
"视频的ControlNets?太棒了!"
社区成员
"按照这个速度,一两年内我就能成为所有经典作品的主角了,只需1.99美元的午夜票价!"
技术爱好者
探索更多VACE相关资源,了解其功能和应用