cinecode 实测:让 AI 用代码拍一部 12 秒短片
cinecode 实测:让 AI 用代码拍一部 12 秒短片
它不生成视频,它让 agent 写代码。每一帧都是 t 的函数,声音在同一份 HTML 里合成。
刷到 sarpstar/cinecode 这个仓库,看到那句宣传语先是觉得夸张:「用代码写成的电影。你只带来创意和品味,剩下由 AI 编程智能体完成。」GitHub 上给 agent 用的技能仓库太多了,多数不过是把提示词换个包装。于是我按它自己的安装说明从头跑了一遍,目标也很明确:不给任何参考素材,只用一句话,让 agent 交出一部能播放的 MP4。
结果是有的:12 秒、288 帧、1280×720、24 fps、带配乐和音效的短片《Signal》,从空白目录到成片大概四十分钟,其中一半时间花在我自己的环境上(后面细说)。
先说清楚它到底是什么,再说怎么用,最后把我的完整代码和坑一并交出来。
cinecode 不是视频模型
最容易误解的一点:它不是 Sora、Veo 那类扩散模型,也没有权重。cinecode 是一个 Claude Code / Cursor / Codex 都能加载的技能包(skill),里面是方法论文档、模板、样式库和几个零依赖的小脚本。真正在干活的是编排逻辑加上你的 agent,产物则是浏览器里由 Canvas 2D 或 three.js 逐帧绘制的画面,再交给无头 Chrome 抓帧、ffmpeg 编码。
所以它的产出是确定可复现的:同一份代码、同一个种子、同一个时间点,画出来的像素完全一致。这一点是它和生成式视频模型最根本的分野——你可以像改代码一样改片子,也可以回退到昨天的版本。
MERMAID_BLOCK_0
它覆盖的范围比「短片」宽得多,官方 README 里列的用途包括:
- 一分钟以内的短片:快速模式(quick mode)在一个
film.html里搞定,可到约 3 分钟; - YouTube 长视频:十分钟乃至更长的纪录片、科普、视频随笔,走电影模式(cinematic mode),按幕和章节推进,脚本里凡涉及真实人物事件的都附出处;
- 广告与产品片:你的品牌色、字体、标志、行动号召,还能导出带安全区的 9:16、1:1、16:9 三版;
- 社交平台竖屏科普:30–60 秒,第一秒抛问题,图表逐线搭建;
- MV:带上你的歌,它先测节拍网格,剪辑点落在小节上、重音落在拍点上;
- 仿某个视频但不一样:只测量形式(剪辑、节奏、光线、色板、BPM),绝不复用画面。
两种模式,决定工作做多深
| 快速模式 | 电影模式 | |
|---|---|---|
| 载体 | 一个自包含的 film.html |
带八种风格预设的 three.js 场景,逐镜头渲染 |
| 流程 | 几个问题 → 文字节拍表 → 先看两个场景静帧 → 低分辨率草稿 → 最多 2 轮修改 → 成片 | 六个问题 → 路线图 → 剧本 → 风格帧 → 动态分镜 → 渲染,逐阶段确认 |
| 适合 | 一分钟内、社交短片、广告、科普,最长约 3 分钟 | 多场景、要调研或档案素材的长片 |
我先用快速模式,理由很简单:一分钟以内、纯画面、不需要旁白,正是它的舒适区;而且它的草稿是 640×360 的低分辨率版本,试错成本接近零。
怎么用:三步
安装只有一行,本质是把仓库 clone 到 agent 的技能目录:
git clone https://github.com/sarpstar/cinecode.git ~/.claude/skills/cinecode
然后在一个空文件夹里启动 agent。我这里用的是 Claude Code 的终端形态:
mkdir my-film && cd my-film && claude
接着就是自然语言,不需要记任何命令:
我想做一部 12 秒的短片,主题是「海边的灯塔在暮色里发出信号」。
之后 agent 会做些准备工作:读技能里的 references/quick-mode.md 拿到「契约」,拷一份起始模板 film.html,装好工具脚本。它也会问你几个选择题(媒介、画幅、时长、声音、风格),每个都带一个 ★ 推荐的默认答案。如果你一开始就把要求写全,它会直接开工。
快速模式的产线在文档里写得很清楚:先静帧、再草稿、最后成片。
python3 tools/make.py stills --at 1,4.5,8,11 # 定格关键时间点,先看构图
python3 tools/make.py draft # 640×360,看节奏和声音
python3 tools/make.py final # 1280×720 成片,母带处理到 −14 LUFS
我的第一部片子《Signal》就是按这个顺序走的。中途有一版草稿因为「文字撞行」被扔掉重做——这是它自带的检查项,后面会讲。
快速模式的核心契约:把片子写成时间的函数
理解了下面这四行,你就理解了整个快速模式。技能文档 references/quick-mode.md 要求页面暴露这些接口:
// window.READY: {frames, fps, width, height, renderer, title, bounds, vo}
// window.renderFrame(i): 纯函数,只依赖 i/FPS
// window.captureFrame(i): 返回 data URL,交给无头 Chrome 抓帧
// window.renderAudio(): OfflineAudioContext -> AudioBuffer,整条音轨
我的实现是这样收口的,比模板更精简一点:
const FPS = 24, DURATION = 12;
const FRAMES = Math.round(FPS * DURATION); // 288
window.renderFrame = i => { ctx.setTransform(1, 0, 0, 1, 0, 0); draw(i / FPS); };
window.captureFrame = (frame, type = 'image/png', quality = 0.95) => {
window.renderFrame(frame);
return canvas.toDataURL(type, quality);
};
window.READY = Promise.resolve({
frames: FRAMES, fps: FPS, width: W, height: H,
renderer: 'canvas2d', title: 'Signal', bounds: [0, 4.5, 8, DURATION],
});
draw(t) 是唯一的画面入口,所有运动都必须写成 t 的函数。这是硬约束——一旦你在里面藏了累加器,抓帧就会出现「同一帧渲染两次结果不同」的问题,工具会直接拒绝出片(我踩过,见下文)。
画面:四个场景,一条时间轴
12 秒被我切成 [0, 4.5, 8, 12] 四段。第一段是暮色海面,第二段光球从海里升起,第三段标题逐字浮上,第四段光线收束。
function draw(t) {
ctx.setTransform(1, 0, 0, 1, 0, 0);
ctx.globalAlpha = 1;
ctx.globalCompositeOperation = 'source-over';
ctx.clearRect(0, 0, W, H);
const f = t / DURATION; // 全局进度 0..1
const drift = t > 6.5 ? Math.min(1, (t - 6.5) / 5.5) : 0; // 后段镜头轻微推移
// 天空:三段渐变,从夜蓝推到冷青的黎明
const sky = ctx.createLinearGradient(0, 0, 0, H * (HORIZON + 0.12));
sky.addColorStop(0, rgb(mixc(DUSK[0], '#0d1a2e', f)));
sky.addColorStop(0.55, rgb(mixc(DUSK[1], '#2b6b80', f)));
sky.addColorStop(1, rgb(mixc(DUSK[2], '#86d4c9', f)));
ctx.fillStyle = sky;
ctx.fillRect(0, 0, W, H * (HORIZON + 0.14));
// 海面:46 条横向色带,每条自己一个正弦
for (let i = 0; i < 46; i++) {
const p = i / 46, y = bandTop + (H - bandTop) * p * p * 1.02;
const off = Math.sin(t * (0.6 + p * 1.4) + i * 0.7) * (2 + p * 16);
ctx.fillStyle = rgb(mixc('#3f7e86', '#12303f', p));
ctx.fillRect(0, y + off, W, 1 + (H - bandTop) / 46 + 1);
}
}
海不是贴图,是 46 条色带各自抖动;浪尖的位移是 sin(t·ω + φ),近处的频率和振幅都更大,于是眼睛自动读出了纵深感。这种「用几何表达介质」的做法,是代码电影最便宜也最有效的伎俩。
随机数必须带种子,否则每次渲染星星位置都不一样:
function mulberry(a) {
return () => { a |= 0; a = a + 0x6D2B79F5 | 0;
let t = Math.imul(a ^ a >>> 15, 1 | a);
t = t + Math.imul(t ^ t >>> 7, 61 | t) ^ t;
return ((t ^ t >>> 14) >>> 0) / 4294967296; };
}
const rng = mulberry(42);
const STARS = Array.from({ length: 140 }, () => ({
x: rng(), y: rng() * 0.58, r: 0.4 + rng() * 1.5,
ph: rng() * 6.28, sp: 0.4 + rng() * 1.6,
}));
声音:同一份文件里合成的整条音轨
这是我觉得最漂亮的设计:画面和声音写在同一个 HTML 里,声音用 Web Audio 的 OfflineAudioContext 整条离线渲染,不是后期另找人配。
window.renderAudio = async () => {
const rate = 48000, len = Math.round(DURATION * rate);
const off = new OfflineAudioContext(2, len, rate);
const r = mulberry(53); // 音频也有自己的种子
const bus = off.createGain(); bus.connect(off.destination);
// 海:低通滤波的噪声,音量随潮汐呼吸
const nd = new Float32Array(len); let last = 0;
for (let i = 0; i < len; i++) { const w = r() * 2 - 1; last = last * 0.86 + w * 0.14; nd[i] = last; }
const lp = off.createBiquadFilter(); lp.type = 'lowpass'; lp.frequency.value = 420;
// 灯塔:每 4.5 秒一次 ping,和光束同一个时钟
[0.6, 4.5, 8.0].forEach(at => {
const o = off.createOscillator(); o.type = 'triangle'; o.frequency.value = 784;
const g = off.createGain(); g.gain.setValueAtTime(0, at);
g.gain.linearRampToValueAtTime(0.35, at + 0.02);
g.gain.exponentialRampToValueAtTime(0.001, at + 1.6);
o.connect(g).connect(bus); o.start(at); o.stop(at + 1.7);
});
return off.startRendering();
};
renderAudio() 返回一个 AudioBuffer,工具脚本把它导成 WAV,再和抓到的帧一起交给 ffmpeg 合成。整个音轨里的海声、pad、ping、低频冲击,全部由振荡器和噪声推出来,零素材、零采样、零版权风险。
它自带的检查,比我想的严
cinecode 不是「生成完就交差」的那种工具。快速模式的 make.py 里有几道闸门,我的片子被拦下来过,值得单独说。
第一道:文字检查。 模板里有个 textCheck(frame),会统计重叠和对比度,找出「两行字撞在一起」和「字和背景的亮度差在 2:1 以内」的位置,按时间段报出来。我第一版把标题下的小字压在了地平线上,--text-check 直接把它标成 LOW CONTRAST,只能改颜色。
第二道:确定性验证。 工具会把中间帧渲染两次(中间插一帧别的),比对 SHA:
frame 144 rendered twice (with frame 0 in between): DIFFERENT
deterministic: NO - find state carried between frames, Date/performance.now, Math.random
看到这行时我以为代码没问题,因为 draw() 开头就 clearRect 了整个画布。真实原因是 720p 下 Chrome 的 2D 画布默认走 GPU 光栅化,重复渲染同一帧会出现极小的抗锯齿差异——400 次里恰好抓到一次。把上下文改成 CPU 后备缓冲就好了:
const ctx = canvas.getContext('2d', { willReadFrequently: true });
一句话,从「随机失败」变成「每次都过」。
第三道:独立审看。 成片前它会派一个没有上下文的 subagent 看草稿,写一份 critique.md,里面必须有 **Verdict:** APPROVE / FIX / UNVERIFIABLE 一行。我第一版 final 就是因为这个文件没写 Verdict 行被直接拒绝——这条设计很值得其他 agent 项目抄:让评审输出结构化结论,而不是一堆感想。
环境踩坑:Linux 服务器上的三处硬伤
我的机器是台无 GPU 的 Linux 服务器,README 假设的「任何较新的 Mac 或驱动正常的 PC」在这里不成立。三处要改:
1. 无头 Chrome 找不到,或者 root 下起不来。 我装的是 Playwright 的 chromium 构建,然后指给工具:
npx --yes playwright@1.49.0 install chromium
export CHROME_PATH=/root/.cache/ms-playwright/chromium-1148/chrome-linux/chrome
root 身份下 Chrome 拒绝了沙箱,需要在 tools/capture.mjs 的启动参数里补两行:
if (process.getuid && process.getuid() === 0)
flags.push('--no-sandbox', '--disable-dev-shm-usage');
2. 系统 ffmpeg 没有 libx264。 我的发行版自带 ffmpeg 7.1 只编进了 libopenh264,-c:v libx264 直接报错。dnf install ffmpeg-free 没用(同一个构建)。省事的解法是把静态构建拿到 PATH 前面:
pip install imageio-ffmpeg
ln -sf $(python3 -c "import imageio_ffmpeg as i; print(i.get_ffmpeg_exe())") /usr/local/bin/ffmpeg
ffmpeg -hide_banner -encoders | grep libx264 # 有输出就对了
3. 没有 GPU,别指望实时预览。 make.py draft 在这个机器上 288 帧要五分多钟(2 workers),final 更久。预览循环里的 requestAnimationFrame 基本跑不动,但抓帧是逐帧调用 captureFrame(i),跟刷新率无关,所以不影响出片——只是你别盯着那个空白窗口等。
顺带一提,make.py 中途卡死过一次(半分钟后状态文件不再更新),原因是上一轮的 Chrome 进程没清干净,占了显示资源。清进程再跑就好:
pkill -f capture.mjs; pgrep -f chrome-linux/chro | xargs -r kill -9
它的边界在哪
用了两部片子之后,我对它的判断比较清楚了。
好用的地方:一分钟以内的短片、竖屏科普、产品片,尤其是需要精确控制品牌色和字体的场合——因为是代码,你能把配色写成常量,改一次全片生效。改一个字、挪一个镜头,也是改代码那么便宜。确定性带来的可回滚性,是生成式视频给不了的。
别扭的地方:画面质量的天花板在你的审美和几何功底上,不在模型上。它不会替你画一只像样的猫——你得用贝塞尔曲线去画,或者干脆用剪影。想做出「看起来像实拍」的效果,references/ 里有电影感处理(浅景深、胶片颗粒、运镜惯性、印片曲线),但那套东西要一点点调。另外它的强项是设计语言(字体、色板、节拍表),中文字形和排印的支持远不如土耳其语和英语细致,中文标题的字重和字距我基本都手调过。
成本:全程本地渲染,不花 GPU 云的钱;真正消耗的是 agent 的 token 和你的时间。我做这一部的体感是「写代码 + 反复看静帧」,四十分钟里有二十分钟在等渲染。
我的成片
《Signal》:暮色海面,灯塔每 4.5 秒扫一次光,第三拍时标题浮上,最后两秒光点从水面升起来。
时长 12s · 288 帧 · 1280×720 · 24 fps · Canvas 2D
音频 48 kHz 双声道,OfflineAudioContext 离线合成,母带 −14 LUFS
源文件 一个 film.html,20 KB,零外部资源
片子没法直接贴在这篇文章里,但复现是零成本的:把 film.html 丢到任意装有 cinecode 的目录,跑 python3 tools/make.py final 就有。种子固定,你拿到的像素和我这里一模一样。
这个仓库给我的最大启发不是「AI 能拍片」,而是把视频当成代码来管理:能 diff、能回滚、能参数化、能被 CI 检查。生成式视频模型在「像」这条路上越走越远,cinecode 走的是另一条路——它不追求像,它追求可控。
参考文档与链接
- sarpstar/cinecode — 仓库主入口,MIT 协议,四语 README
- 中文 README — 用途矩阵、两种模式对比、环境要求
- quick-mode 契约文档 —
READY/renderFrame/captureFrame/renderAudio的完整定义 - camera-moves 运镜词汇 — 推轨、环绕、滑动变焦、甩镜等,每种都标注带来什么感受
- typography 排印参考 — 开源字体搭配与手机尺寸可读性检查
- Claude Code 技能目录规范 —
~/.claude/skills/的加载机制 - Web Audio OfflineAudioContext — 离线渲染整条音轨的 API
- imageio-ffmpeg — 缺 libx264 时的静态 ffmpeg 来源
你试过让 agent 直接写代码做视频吗?如果要做一部自己的片子,你会给它什么题材——评论区聊聊。觉得有用点个赞。
作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/
关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top

浙公网安备 33010602011771号