Wan2.1视频生成API技术详解

Wan2.1：通过API生成视频

如果您最近一直在关注AI视频领域，您可能已经注意到这个领域正在爆炸式发展。每周都有新模型发布，提供更好的输出效果、更高分辨率和更快的生成速度。

Wan2.1是最新且功能最强大的开源视频模型。它于上周发布，目前在排行榜上名列前茅。

Wan2.1有很多值得称赞的特点：

• 在某平台上运行速度快。5秒视频在480p分辨率下需要39秒，720p分辨率下需要150秒
• 完全开源，包括模型权重和代码。社区已经在构建工具来增强它
• 生成具有真实世界准确度的惊人视频
• 足够小，可以在消费级GPU上运行

模型版本

该模型在某平台上提供多种不同版本：

• Wan 2.1文本到视频，480p - 某机构/wan-2.1-t2v-480p（140亿参数）
• Wan 2.1图像到视频，480p - 某机构/wan-2.1-i2v-480p（140亿参数）
• Wan 2.1文本到视频，720p - 某机构/wan-2.1-t2v-720p（140亿参数）
• Wan 2.1图像到视频，720p - 某机构/wan-2.1-i2v-720p（140亿参数）
• Wan 2.1文本到视频，480p - 某机构/wan-2.1-1.3b（13亿参数）

480p模型非常适合实验，因为它们运行速度更快。
如果需要更高分辨率，请使用720p模型。
13亿参数的模型更小，专为在消费级GPU上运行而设计。

真实世界准确度

140亿参数模型在真实世界物理模拟方面表现出色，可以完成大多数其他模型难以处理的任务：

• 手部细节：模型能很好地处理手部细节，显示单个手指、皮肤纹理和戒指等细节
• 绘图动画：将静态绘图转换为短视频片段
• 物理模拟：当提示创建长颈鹿倒挂在树上的视频时，模型描绘了树枝在重量下弯曲的情景
• 头发运动：在包含人物的视频中，头发渲染准确，显示人物转头时单个发丝的运动
• 物体交互：能够准确渲染同一空间内多个物体的交互
• 人群场景：在渲染大型人群场景时，每个物体保持 distinct，创建连贯的场景

通过API运行Wan2.1

某平台上的每个模型都有可扩展的云API，Wan2.1也不例外。

以下是使用某平台JavaScript客户端运行Wan2.1文本到视频模型的代码片段：

import Replicate from "replicate";

const replicate = new Replicate()
const model = "某机构/wan-2.1-i2v-480p"
const input = {
  image: "https://某平台.delivery/pbxt/MZZyui7brAbh1d2AsyPtgPIByUwzSv6Uou8objC7zXEjLySc/1a8nt7yw5drm80cn05r89mjce0.png",
  prompt: "A woman is talking",
}

const output = await replicate.run(model, { input })
console.log(output)

图像到视频模型的代码几乎相同。只需在调用模型时省略图像输入：

import Replicate from "replicate"

const replicate = new Replicate()
const model = "某机构/wan-2.1-t2v-480p";
const input = {
  prompt: "A woman is talking"
}
const output = await replicate.run(model, { input })

console.log(output.url())

实验设置

某机构的Wan2.1模型还提供了许多不同的设置供您实验。

尝试实验guide_scale、shift和steps参数。发现较低的guide_scale和shift值（大约4和2）可以产生可爱的真实感视频。

社区努力

没有众多开源贡献者的工作，这个模型就不会存在。使用某机构的优化技术，为您带来世界上最快的生成速度。

特别感谢某中心开源该模型，以及感谢某开发者和某机构与我们合作，为您带来这些速度。:high_voltage:
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码