Veo 3.1视频生成模型技术详解与API调用指南

如何提示Veo 3.1

某中心最近发布了Veo 3.1，为视频生成提供了几项新工具，包括角色参考图像和首尾帧输入。本快速提示指南旨在展示该模型的功能。

与某中心的视频模型一样，有一个通用的指导原则需要遵循，以确保输出效果尽可能出色：

镜头构图：指定镜头的构图和主体数量（例如，“单镜头”、“双人镜头”、“过肩镜头”）。
焦点和镜头效果：使用“浅景深”、“深景深”、“柔焦”、“微距镜头”和“广角镜头”等术语来实现特定的视觉效果。
整体风格和主体：通过指定“科幻”、“浪漫喜剧”、“动作电影”或“动画”等风格来引导创意方向。
摄像机定位和运动：使用“眼平”、“高角度”、“虫眼视角”、“轨道镜头”、“变焦镜头”、“摇摄镜头”和“跟踪镜头”等术语来控制摄像机的位置和运动。

现在你对如何一般性地提示Veo 3.1有了概念，让我们深入了解这些新功能。

参考视频生成

Veo 3.1最激动人心的新功能是参考视频生成。该功能允许你将最多三张参考图像组合成一个连贯的视频场景，并通过你的文本提示进行引导。

参考视频生成最多接受三张输入图像，并使用你的文本提示来指导这些元素应如何组合。

示例
看看如何利用一位女性内容创作者和一瓶洗发水的图像来制作一个用户生成内容风格的视频。Veo 3.1能够在生成流畅、真实的评测视频的同时，保持角色和瓶子的特征。

参考：内容创作者
参考：洗发水

你的浏览器不支持视频标签。

参考视频生成最强大的一个方面是角色一致性。你可以取一个角色参考，将其置于完全不同的场景中，同时保持其外观和身份。这开启了不可思议的叙事可能性——想象一下，将你的品牌吉祥物或主要角色无缝地放置在各种环境中，这些环境可能是你从未想象过他们会出现的。

这项功能为你的视频场景提供了前所未有的可控性，非常适合创建具有特定视觉元素的复杂叙事。

首尾帧视频生成

另一项强大的新功能是首尾帧视频生成。它通过允许你指定视频的起始帧和结束帧，扩展了图像转视频的概念。

与仅提供起始图像的传统图像转视频不同，你需要同时提供第一帧和最后一帧。然后模型会根据你的文本提示指导，在这两个点之间进行插值。

示例
这是一个很酷的示例，使用首尾帧创建了从羔羊到老虎的变形转换：

第一帧：羔羊
最后一帧：老虎

你的浏览器不支持视频标签。

首尾帧插值创建了引人注目的变形序列，这些序列用传统的视频生成方法很难实现。

看看这个神奇的室内变形。

之前
之后

你的浏览器不支持视频标签。

布景师和室内设计师们，你们是否获得了灵感？

这项功能对于创建具有特定起点和终点的视频特别有用，让你能精确控制叙事弧线。

增强的图像转视频

经典的图像转视频功能在Veo 3.1中得到了改进，提供了更好的质量和更灵敏的提示跟随。

工作原理
提供一个起始图像和一个描述所需运动或动作的文本提示。模型生成的视频内容以你的图像开始，并遵循你的提示指令。我们还注意到，视频模型中融入了知识，因为它能够从输入的图像中进行推理。

这是一个很酷的示例，其中输入了某机构总部在地图上的图像，并要求它展示该地点发生的情况：

你的浏览器不支持视频标签。

Veo 3.1增强的图像转视频功能包含了创建流畅过渡的智能逻辑。模型理解输入图像的内容，并生成感觉自然且有目的性的运动。

这里不需要提示特定的过渡——Veo 3.1能够提取图像中的信息，并过渡到一个在上下文上有意义的适当视频序列。

快速版本可用

除参考视频生成外的所有端点都提供快速生成选项：

• 速度：60秒以下，而标准生成约为90秒
• 成本：约为标准生成的一半
• 质量：略有降低，但仍为高质量输出

需要更便宜、更快速的选项？使用Veo 3.1快速版。

开始使用API

以下是使用JavaScript和Replicate API调用Veo 3.1的方法：

基本图像转视频

import Replicate from "replicate";

const replicate = new Replicate({
  auth: process.env.REPLICATE_API_TOKEN,
});

const output = await replicate.run(
  "google/veo-3.1",
  {
    input: {
      image: "https://example.com/your-image.jpg",
      prompt: "A cinematic shot of the character walking through a bustling city street",
      duration: 8,
      resolution: "1080p"
    }
  }
);

console.log(output);

使用多张图像的参考视频生成

const output = await replicate.run(
  "google/veo-3.1",
  {
    input: {
      reference_images: [
        "https://example.com/character.jpg",
        "https://example.com/product.jpg",
        "https://example.com/background.jpg"
      ],
      prompt: "Create a product review video with the character showcasing the product in this environment",
      duration: 8,
      resolution: "1080p",
      generate_audio: false
    }
  }
);

首尾帧视频生成

const output = await replicate.run(
  "google/veo-3.1",
  {
    input: {
      first_frame: "https://example.com/start-image.jpg",
      last_frame: "https://example.com/end-image.jpg",
      prompt: "A smooth transformation sequence",
      duration: 8,
      resolution: "1080p"
    }
  }
);

API返回一个视频URL，你可以在应用程序中使用。强烈建议拥有生成式视频应用的开发者进行转换——Veo 3.1提供了极其强大的功能，将会让你的用户惊叹。

这就是Veo 3.1的全部内容！试试看吧——期待看到你的创作。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码