VACE
Video AI Creation & Editing

VACE

Video AI Creation & Editing

由阿里巴巴、通义实验室和Wan团队联合开发的全能型视频创作与编辑AI模型

auto_awesome
强大功能
Anything系列

VACE 简介 Introduction to VACE

R2V V2V MV2V VACE Core
All-in-One

VACE 是由阿里巴巴通义实验室Wan团队联合开发的全能型AI模型,专为视频创作与编辑设计。

它支持多种任务,包括:

  • arrow_right
    参考图到视频生成 (R2V)

    Reference-to-Video Generation

  • arrow_right
    视频到视频编辑 (V2V)

    Video-to-Video Editing

  • arrow_right
    遮罩视频到视频编辑 (MV2V)

    Masked Video-to-Video Editing

VACE的独特之处在于用户可以自由组合这些任务,探索更多创作可能性,简化工作流程。

强大功能 Capabilities

VACE提供一系列"Anything"功能,满足各种视频创作与编辑需求

open_with

Move-Anything

自由移动视频中的对象,保持自然视觉效果

swap_horiz

Swap-Anything

替换视频中的对象,同时保持动作和上下文的一致性

content_copy

Reference-Anything

基于参考图像生成视频,保持风格和内容的一致性

open_in_full

Expand-Anything

扩展视频的视野范围,添加合理且连贯的额外内容

animation

Animate-Anything

为静态内容赋予生动的动画效果,创造引人入胜的视频

强大的底层技术

VACE利用扩散变换器 (Diffusion Transformer)技术生成和编辑高质量视频,同时保持时间和空间动态的一致性。

这种统一的方法简化了用户工作流程,减少了对多个独立工具的需求,提高了视频创作和编辑过程的整体效率。

AI
Diffusion Transformer
blur_on
filter_frames
movie

Wan 2.1 集成 Integration with Wan 2.1

VACE与Wan 2.1的深度集成增强了特定视频编辑任务的功能

tune

控制工作流

利用Wan 2.1提供精确的视频控制能力,实现姿态控制等高级功能

code Control Workflow
text_fields

提示词对象替换

通过简单的文字提示替换视频中的对象,例如将柠檬变成苹果

code Prompt Word to Replace Object
image

参考图像替换

使用参考图像替换视频中的对象,保持风格一致性和上下文融合

code Replace Objects with Reference Images
settings WanVideo TextEncode
edit "将柠檬变成苹果"
arrow_downward
movie 视频生成结果

强大的工作流示例

在MimicPC工作流程中,用户可以在"WanVideo TextEncode"节点中输入提示词来替换视频中的对象。

此外,启用"WanVideo TeaCache"节点可以加速视频生成,但可能会降低视频质量。

用户可以调整宽度、高度、帧率和帧数等参数来自定义视频分辨率和长度,社区讨论中指出设置Step=30可获得良好的2D视频效果,Step=50可获得更清晰的真人面部纹理。

技术细节 Technical Details

VACE支持任意分辨率的输入,但在特定的视频尺寸范围内可获得最佳效果

可用模型

模型 下载链接 视频尺寸 许可证
VACE-Wan2.1-1.3B-Preview ~ 81 x 480 x 832 Apache-2.0
VACE-LTX-Video-0.9 ~ 97 x 512 x 768 RAIL-M
Wan2.1-VACE-1.3B 即将发布 ~ 81 x 480 x 832 Apache-2.0
Wan2.1-VACE-14B 即将发布 ~ 81 x 720 x 1080 Apache-2.0

terminal CLI命令

通过官方GitHub仓库提供的命令行界面进行端到端推理:

python vace/vace_pipeline.py --base wan --task depth --video assets/videos/test.mp4 --prompt 'xxx'

输出将保存到./results/目录

widgets Gradio演示

使用以下命令启动交互式Gradio演示:

python vace/gradios/preprocess_demo.py
python vace/gradios/vace_wan_demo.py
python vace/gradios/vace_ltx_demo.py

社区讨论与反馈

社区平台(如Reddit)上的讨论亮点了VACE的先进功能,如姿态控制ControlNets,这些功能与其他模型(如Hunyuan)相比具有独特优势。

用户评论如"视频的ControlNets?太棒了!"反映了对其精确视频编辑潜力的兴奋。

社区也对其开源发布充满期待,与Pika Labs等平台进行比较,并普遍表达出对其潜力的热情。

forum

"这看起来太酷了!"

Reddit用户

forum

"视频的ControlNets?太棒了!"

社区成员

forum

"按照这个速度,一两年内我就能成为所有经典作品的主角了,只需1.99美元的午夜票价!"

技术爱好者

相关资源 Additional Resources

探索更多VACE相关资源,了解其功能和应用

language

官方VACE页面

提供示例和演示,如保留内容、结构、主题、姿势和动作的视频重新渲染

访问官方页面 arrow_forward
folder_special

Hugging Face集合

提供额外的模型和资源,支持不同的应用场景和任务

浏览Hugging Face集合 arrow_forward
folder_shared

ModelScope集合

提供中文环境下的模型和资源,适合中国用户使用

浏览ModelScope集合 arrow_forward
speed

VACE基准测试

提供用于评估视频生成和编辑质量的数据集和工具

探索基准测试 arrow_forward
edit_note

VACE标注工具

提供用于视频标注和数据准备的工具,支持模型训练和评估

获取标注工具 arrow_forward
smart_display

YouTube教程

社区驱动的YouTube教程,展示如何使用VACE与ComfyUI等工具结合

观看教程视频 arrow_forward