AIGC标识 单模型分层与视频自动生成

内容提要

  • 一个模型、四档思考模式的分层与路由依据;
  • 有序权限规则集的求值语义,以及配置方言静默迁移带来的风险;
  • 从零素材到素材剪辑的两条视频生产线:八阶段管线、纯函数渲染、采样级混音、三层质检;
  • 五类画面缺陷的判据来源与三个静默失效的现场;
  • 门禁三档语义(pass / fail / skipped),以及为什么“没查”不能写成“通过”。

引言

把一堆提示词、权限规则和脚本拼成一个长期可用的 agent 工作台,难点不在写出第一版,而在半年之后还能说清楚它为什么这样配。这篇复盘整理了三件事的工程依据:模型分层怎么定、权限规则怎么排、视频这类多阶段产物怎么验收。第三件事占的篇幅最多,因为它暴露的问题最具体——画面能生成,不代表片子能用。

所有数字都来自实机测量,包括耗时、覆盖率、召回率和阈值标定。它们在某个特定环境下成立,换机器、换素材、换模型都要重测;文中标注“实测”的地方,读者应当把它当成一个可以复现的量级判断,而不是承诺。

一句话结论:单模型靠思考档位做分层,权限靠有序求值保证边界,视频靠把“看着没问题”拆成可计算的信号。三者的共同点是——任何“没检查”都必须显式记录下来。

1 一个模型,四档思考

多模型的常规做法是按任务难度买不同价位的模型。这条路的问题在执行层:一旦引入第二种模型,就多了一套费率、一条缓存前缀、一份路由表,还多出“这道题该给谁”的判断成本。替代方案是只保留一个模型,把差异压在思考模式上。

指定供应商的思考能力由两个独立机制控制。开关决定思考是否发生,是请求体里的一个字段;强度决定思考多深,通过供应商设置里的推理强度传给 API。两者都不在配置 schema 的原生字段里,属于供应商的请求参数。这个区分很关键,因为写错位置不会报错,只会静默失效——早期版本把开关和温度放在供应商设置下,结果是每一步都在为思考付费,而配置文件看起来完全正常。

表 1 四档思考模式与对应职责。档位写在模型层,agent 只选引用。

档位

开关与强度

承担的任务

典型 agent

默认

思考关,温度 0

路由、检索、一次性转写

路由入口、探索、文档检索、镜头理解

#low

思考开,强度 low

单文件编辑、方案讨论、界面调整

轻量编排、咨询、界面构建

#high

思考开,强度 high

规划、深度推理、批量实现

规划、重型实现、单模型内联执行

#max

思考开,强度 max

根因分析、关键审查,只读

根因分析、审查升级层

图 1 档位是纵向的推理深度轴,不是模型清单

为什么默认档必须显式关闭

上游的默认行为是思考开启、强度 high。这意味着“不写任何参数”并不等于省事——默认档会照常消耗推理 token。省成本的唯一来源是把默认档显式写成关闭;#high 只是把上游默认值写明,#low 比默认低一档,#max 是唯一高于默认的档位,它按设计就多花 token。

强度的取值也不能照抄中间的刻度。上游会把文档里的 minimal 映射到 low,把 medium 和 xhigh 归并到 high,把 max 和 ultra 归并到 max。所以配置里只声明 low、high、max 三档,不存在 medium 变体。写一个上游没有的档位,行为是不可预测的。

同理,思考开启时不支持温度、存在惩罚和频率惩罚,传了不报错也不生效;top_p 的行为相反,只在思考开启时有效。所以温度只绑定在默认档,其余档位继承它但没有作用。

路由按任务规模,升级靠换 agent

图 2 任务规模对应档位;越靠右每一步越贵

路由表按任务规模切四段:能一次查完的走默认档;单文件、有明确边界的改动走低档;需要拆解成多步的实现走高档;出错难复现、需要顺着调用链找根因的,走顶档且只给只读 agent。

升级永远是换 agent,而不是把同一个 agent 的强度抬上去。原因很实际:一个按默认档写的执行型 agent,提示词里没有“如何做根因分析”的约束,抬高强度只会让它更自信地猜。换一个有只读权限、有拒绝契约的 agent,才是真的换能力。

顶档的限制还来自步数。强度按步计费,一个跑三十步的写作任务用顶档,等于把最贵的单价乘以三十。所以顶档只给步数少、输出短的只读分析;写作类任务停在高档。

价差来自 token,不来自单价

图 3 同一输入下两级审查的价差约 14%

用一次 300 有效行的审查举例:低档约 0.0084 美元,顶档约 0.0096 美元,相差 14%。这个差距和“换一个贵 3.7 倍的模型”完全不同。四个档位共用同一份费率,差别只在推理 token 的数量上,而推理 token 按输出价计费。

另一半成本杠杆是缓存。缓存命中的价格是输入价的五十分之一,所以配置里有一条纪律贯穿始终:提示词、规则文件、agent 定义保持字节稳定,易变内容(时间戳、随机 ID、动态文件列表)放到 payload 尾部。前缀一旦被改写,整段上下文按未命中价重算,省下来的档位差价会被一次性抵消。

2 权限是求值顺序,不是开关集合

权限表最容易被写成一张“允许什么”的清单。问题在于清单没有覆盖到的部分怎么办。如果默认放行,那么任何没被想到的破坏性变体都自动通过;如果默认询问,安全问题就变成一个人工确认的频率问题。

这套配置选了默认询问。规则按顺序求值,最后匹配的那条生效,所以 catch-all 的询问规则放在第一位,后面的具体放行逐条覆盖它。一条没被任何具体规则命中的命令,自然落回人工确认。

图 4 兜底规则在前,具体规则逐条覆盖

这个顺序带来一个反直觉的结论:不需要为危险模式单独写拒绝规则。既然 catch-all 已经把一切未知命令送进人工确认,后面再写一条 ask,在最后匹配生效的语义下永远轮不到它,属于死规则。规则表里每多一条永不触发的规则,维护者就多一处误解的空间。

唯一的例外是文件写入。agent 基线本身允许写文件,所以写入规则只做一件事:拦掉机密文件与环境变量模板。这里不能写全局放行——全局放行会追加在内置的只读规则之后,在最后匹配的语义下把只读沙箱的禁止给覆盖掉。一条“看起来更宽松”的规则,实际是拆掉了另一层保护。

规则冲突要在提交前算出来

最后匹配生效的语义有一个隐蔽后果:agent 文件里的放行规则追加在全局规则之后,因此总能赢。如果某个 agent 放行了全局明确拒绝的路径,配置读起来像是在收紧,实际是在开后门。

这类冲突靠人工通读发现不了,只能靠校验脚本。校验器收集全局所有拒绝规则,再把每条 agent 级放行规则展开成若干具体路径探针,逐个去匹配全局拒绝的正则;命中任意一个就报错。放行规则里的通配符按星号数量和位置展开成多个探针,而不是简单地把星号当任意字符。

agent reviewer: allow read "src/**"
-> 展开探针: "src/", "src/a", "src/b", "src/a/b"
-> 任一命中全局 deny "*.env" 即 FAIL

同一个校验器还管两件事:agent 文件只允许出现新方言的顶层键(混入一个旧拼写,整份文件会被判为旧格式并走迁移路径,解析出的形状和写的不一样);技能文件必须有与目录同名的 name 字段和合法 frontmatter。这些检查都在提交前跑,不依赖运行时才发现。

表 2 校验器覆盖的五类静默风险

检查项

拦什么

漏掉的后果

配置顶层键

旧方言键名混入

静默迁移,实际生效的配置与文件不一致

模型层放置

开关或强度写错层级

参数被丢弃,每一步都在为默认行为付费

agent 级放行

与全局拒绝规则相交

读起来在收紧,实际重开了被拒路径

agent frontmatter

旧格式键或非法键

整份文件被打回旧格式解析

技能元数据

name 与目录名不一致

名册里出现无法按名加载的条目

3 视频生成:从能出片到能验收

让一个 agent 做一条三分钟的中文视频,它看不见画面,也听不见声音。它能调编码器,能生成图片,能从成片里读出时长和码率。但“这个镜头构图有没有重心”“这句旁白有没有被配乐盖住”“第 16.9 秒那一帧白闪有没有人发现”,这些它判断不了。

所以视频这条线真正的工作量不在渲染,而在把主观判断翻译成能算、能复现、坏了会响的信号。下面按出错的顺序讲:先定产线,再定时间轴,然后是画面、声音、质检。

先分诊:画面从哪来

有素材就按文案剪,没有才自己画。走错线的代价是整片返工——拿代码画的图文卡片去顶“要有真实影像”的需求,用户看一眼就否,而返工发生在渲染之后。

图 5 分诊按顺序问三个问题,答案决定产线

素材线的契约是按句绑镜头。每句话指定一个素材源和源内绝对秒数;镜头长度省略时跟随该句旁白的实测时长。改一句台词,镜头自动跟着变长变短,不需要重新对一遍时间。

素材数量有预算公式。推荐每分钟三个独立来源,硬下限每分钟两个,两条线再夹一个绝对下限三个。45 秒的片子三个,3 分钟推荐九个、下限六个,6 分 25 秒推荐二十个、下限十三个。这个检查放在剪辑决定表生成阶段,不等切完四十个镜头才发现只有两个源。

八阶段,顺序不可交换

图 6 八阶段管线;时间轴与质检是整条链的两个关键闸

定设计、写剧本、合成旁白、排时间轴、配乐音效、逐帧渲染、封装编码、质检交付。每一步单独落盘,可以断点重跑,也可以只跑一步排查问题。

顺序不可交换的原因是依赖方向。旁白的实测时长决定时间轴,时间轴决定每段画面对应哪句台词、每个音效该落在哪一帧,画面和声音都从这一份时间轴派生。先做画面再做声音,等于先画了一堆不知道要放多久的图。

表 3 六个关键阶段的产出与硬约束

阶段

产出

关键约束

合成旁白

逐句音频与实测时长

时长来自解码实测,不按字数估算

排时间轴

段落起止、语音起止

旁白必须在段尾之前读完

配乐音效

音乐轨、音效轨

音效挂在提示点上,不写绝对秒

逐帧渲染

无声画面

同一帧号永远画出同一张图

封装编码

静音成片

帧数必须等于时长乘帧率

质检交付

报告与签核

三档语义,跳过必须写原因

时间轴的真值在音频里

按字数估时长,前二十句还看得过去,往后开始漂。字幕和画面重音一起错位,而且错得很均匀,不专门查就不会发现。

可信的时长只有一个来源:旁白合成完,用解码器解成 48 kHz 单声道浮点,数出来多少秒。不信压缩格式的头信息,不信字数系数。写进时间轴之后还有一条不变式要守:旁白必须在段尾之前读完。

合成器每条尾部带约 0.95 秒静音,55 条累计 61.5 秒。不裁剪,成片里全是空拍。裁剪本身又引入第二个问题:词级时间戳的偏移是相对原始音频的,句首裁掉若干秒后,词表必须整体平移,否则字幕比声音先亮。实测模板句的平移量在 0.10 秒量级,不平移就是稳定的系统误差。

字幕窗口两条不等式就够:开始取语音起点减 0.12 秒,结束取语音终点加 0.45 秒,再被下一句的起点压住,绝不交叠。按字符比例平均分配窗口的做法,一部长片能产生 252 处交叠。

需要观众看清的地方加停留,不加整体速度。停留加在语音结束之后,句子读得还是那么快,只是画面多停一会儿。加长量取 0.5 秒的整数倍,正好是 120 BPM 下的一拍,画面重音仍然落得回去。判断哪里要停,看画面上有没有要读的字、有没有要理解的结构;数字滚完至少要留 0.5 加字数除以 9 秒。

一帧必须是纯函数

渲染入口的签名固定六个参数:场景、段内时间、段时长、全片时间、剧本、绝对帧号,返回一张图。里面不许出现随机源和挂钟,要随机就用内容派生的哈希噪声。

同一帧号画出同一张图,是分块并行、断点续跑、重渲比对三件事的前提。一旦画面读上一帧的状态,并行块之间会闪,续跑的接缝处会跳。

分块按绝对帧号命名,拼之前显式检查有没有缺口。这条来自一次事故:早期按“第几块”命名,补渲之后块号重号,25 块拼出 417 秒,少了 183 秒,而拼接过程不报错。现在还要存一份计划指纹,改了台词、场景代码或编码参数后,断点续跑会拒绝复用旧分块——旧块配新时间轴会拼出画面和旁白对不上的片子,时长门禁查不出来。

图 7 三种编码路径的实测耗时;帧直通不落中间文件

编码走图片帧直通原始像素流进编码器。同样 90 帧 1080p30 的合成画面,直通 0.89 秒;经视频写入器转中间文件 1.71 秒,且二次有损;走 PNG 管道 2.76 秒。中间多一次有损编码,文字会发软。

慢速位移会碎成台阶

有一类画面瑕疵所有指标都抓不到:成片看起来一直在轻微抖动,但单帧闪烁门禁 0 条、全片质量评分 97 以上、结构相似度 0.999。

根因是镜头缓推。4% 的推镜摊到 8 秒只有 7 像素,也就是 0.03 像素每帧,坐标取整后变成每 5 帧整块跳 1 像素。推 14% 的段落实测每秒跳 4.4 到 12 次,一次跳跃有五千多个像素差超过 40 灰阶。颗粒被烘进底图再用最近邻采样取景,是同一类问题的另一种表现:采样网格随缩放比整像素跳变,满屏噪点沸腾。

修法两条。底图改成端点预烘加逐帧插值:缩放起点和终点各烘一张双线性底版,每张约 60 毫秒且只做一次,逐帧按比例混合,约 4.4 毫秒每帧。整帧双线性重采样是 29 到 64 毫秒,超了单帧预算。前景不跟相机,只有底版缩放,文字和卡片按整像素落位。

质检判据要按瑕疵的物理类型分类:亮度型(闪烁、黑帧)、位移型(抖动、漂移)、时序型(同步、丢句)。按亮度差定义的判据对位移天生不敏感,缺哪一类,那一类就一直漏。

素材打底时,自绘占多少

素材和自绘结合有三种做法:按段拼接、整屏卡片覆盖、素材打底加小面积叠加。第三种是默认。原因是一次实测:186 秒的历史对照片,第一版有 88% 的时长是代码画的整屏卡片,被判定画面割裂;改成素材打底、只叠 18 条小信息之后,统一感立刻成立,工作量还更小。

“小面积”必须变成可执行的判据,否则文档写 15%、实际叠到 20% 也无人发现。实测一部 5 分半的片子叠了 43 层题头带,累计覆盖约 20%,所有门禁全绿。

图 8 单层覆盖面积的提示线与失败线

落地成四条机器判据:单层覆盖面积按画布算,20% 提示、30% 失败;每句叠加层数到 3 层失败;被重层覆盖的句子占比 80% 提示、95% 失败;时长加权覆盖 60% 提示。

两个校准细节。18.7% 是“一行对照”这种设计的常态面积,所以提示线定在 20%,再低会把正常设计全标成警告。覆盖句数只统计面积不小于 6% 的重层:那部 5 分半的片子每句都有一张小卡,但面积只有 1.5% 到 6%,按句子数算会误判成全片都在叠,而观感上素材仍然是画面。

配色一致性的方向只有一个:素材不动,让图文段向素材看齐。按剪辑决定表抽帧,只抽成片里真会用的镜头,取色相、饱和度、明度的中位数。用平均值会被一块黑场或一片天空带跑,观众记住的是典型颜色。饱和度乘 0.6,否则素材里一块高饱和招牌铺满整屏会变荧光板。

混音不能用一条编码器命令

一条命令喂 109 个输入做混流,在 Windows 上会因为输入线程池竞争产生非确定性静音。同一条命令连跑三次,结果是正常、静音、正常,成片只有前 15 秒有声。

换成全部解码成浮点 PCM,在 numpy 总线上按采样点写入,写 WAV,再一次性交给编码器。精度 1/48000 秒,可单层重放,可中途打印峰值自检。

旁白优先是硬行为。配乐基线在旁白以下 12 dB;检测到人声时再压配乐 6 dB、音效 3 dB,间隙自动恢复;混完再测一次人声活跃区与背景的差值,不足 12 dB 就整体补压背景。实测不做这些处理时信号比是负 4.2 dB,背景比台词还响;按默认参数,真实配乐素材下是 12.9 dB。

响度交给两遍响度归一,目标负 16 LUFS。真峰要留余量:音频编码会把真峰抬高 0.5 到 1.1 dB,按负 1.5 设目标,实测会压到负 1.0 dBTP 的顶线上,默认值因此改到负 2.2。

用 RMS 近似 LUFS 是另一条隐形的坏路。RMS 是线性平均,LUFS 有 K 计权和门限,两者误差能到 6 到 8 dB,验收等于没做。

质检分三层,抽帧补不了

图 9 三层质检各看一类问题,不能互相替代

容器层看分辨率、帧率、音轨、时长、响度、真峰、黑帧、字幕条数。帧级层把成片按 160×90 逐帧解码,看闪烁、空窗、音画同步、长时间静止。文字层看重叠、出画、一闪而过、从没露面。三层互补:只看容器会漏掉一帧白闪,只看抽帧会漏掉两秒空窗。

三条静默失效

第一类是单帧闪烁的误判。先算逐帧异常度:当前帧减去前后帧的平均,取 8×8 分块里的最大均值。再看孤立性,要求异常度是邻居的 1.5 倍以上。只做到这里不够,二阶差分分不清“只闪一帧”和“加速运动”:前者前后两帧几乎相同,后者三帧都在变且中间帧变化最快,两者异常度都大。于是加第三道闸,要求前后两帧彼此的差异不超过中间帧偏离量的 1.6 倍。

没有这道闸,逐字入场到最后一个字的那一帧、转场黑场起坡的那一帧,都会被报成闪烁。实测一部 12 秒的演示片报了 3 处,分数分别是 9.70、7.80、8.16,逐帧核对全是加速运动;加闸后归零,而人工注入的单帧白闪仍然被检出。

这道闸有盲区:快速运镜段落里,真实单帧闪若被运动差异盖住会漏。所以分数到 10 以上、却被判成运动的候选,不进错误但进警告,带上时刻、分数和比值。

第二类是音画同步的静默全过。同步判据本身简单:每个音效提示点找一个对应的视觉事件,时间差超过 60 毫秒算超差。失效点在命名——同类型优先配对要求事件类型和音效配方同名;如果页面只导出闪白、震屏、冲击环,而音效提示点的名字是撞击、掠风,同类型永远配不上,跨类型又只做确认不做判定。结果是同步列表恒为空,报告写“零超差”,实际一条都没查。

补救办法有两个:提示点自带画面锚点字段,直接写画面上该事件真正发生的秒数;或者把“一条都没判”从警告升级成错误。自查办法很笨但有效,故意把一个提示点的时刻改错 0.3 秒,跑一遍,必须报错。

第三类是成片音轨没回头对过文本。容器、响度、帧级、同步这几项都假设成片音轨里念的就是剧本那几句。缓存串了、换声线漏了一句、混音把某段压没了、重新渲染但音轨是旧的,这些从容器和波形上都看不出来。

做法是把音轨转回文字,按时间轴每段窗口取转写结果,去标点、空白、数字写法、繁体差异后做字符级多重集召回。字符级是因为中文没有词边界;多重集而不是集合,是因为“是”这类字重复出现要计数。阈值定在 0.85 通过、0.72 以下失败,不是 0.95——干净片实测召回 0.803 到 0.853,专名会被听错,但四段全对上、缺句为零;拿 0.95 当门槛会把干净片判成失败。反证是剪掉一句:召回掉到 0.677,判失败,退出码 1。

门禁的第三档

通过是这次真的查了且通过,失败是查了没过,跳过是这次没执行。三档的意义全在第三档。以前“没查”和“查了没事”在输出上都叫“没报错”,一次断网、一个没装的依赖、一处漏改的路径,都能让门禁悄悄变成装饰。

表 4 四类让门禁静默失效的现场

实际发生过的情况

表现

为什么危险

路径多退一级

断言只比了三处,标题写四处

检查范围缩水,仍然判通过

跨盘符相对路径

路径函数抛异常

整条检查判失败,或反过来永远走跳过分支

事件命名不同源

同步列表恒为空

报告写零超差,实际一条没查

可选模块缺失

跳过且不打印原因

看起来全绿,关键项没执行

对应的纪律是:跳过必须打印原因,不能只是不出声;交付前把跳过升级成失败跑最后一遍;报告里逐项说明每一项跳过的理由。

容器:1920x1080 / 30 fps / h264+aac / 48 kHz / 时长 389.02 s
信号:-16.3 LUFS / 真峰 -1.2 dBTP / 锐度比 0.94 / 黑帧 0 / 字幕 86 条 = 剧本 86 句
时间:单帧闪烁 0 / 画面空窗 0 / 音画同步最大偏差 38 ms
页面:文字重叠 0 / 出画 0 / 一闪而过 0 / 从没露面 0

交付话术也要跟着改,写实测值,不写“已完成”。

成本:瓶颈在质检

图 10 30 秒示例片的耗时构成

29 秒的片子,全片质量评分耗时 14.2 秒,语音回读 8.7 秒;整条链 47.3 秒里渲染只占 12.5 秒、质检占 23.9 秒。批量出片的瓶颈在质检,不在渲染——想提速先关全片评分或改成每 5 帧抽 1,不是去压渲染。

码率也不是质量指标。暗色简洁内容用 18 的恒定质量参数出来只有 0.5 到 1 Mbps,这是正常的,编码器在低细节区不需要更多比特。要用锐度比替代码率下限:参考帧重新渲染,和成片解码帧比锐度,比值 0.92 以上算好,0.85 到 0.92 可接受,低于 0.85 该降质量参数或提编码预设。

全片评分这条门禁还有一个前提容易被忽略:参考帧必须由场景函数实时重渲染。拿成片自己抽帧当参考,评分恒等于 100,这项检查等于不存在。

4 边界

这套判据解决的是把主观判断换成可复现的数字,它替代不了人看片子。抽帧目检仍然是流程里固定的一步,六到九张静帧看完才算过;签核绑内容指纹,改了台词或场景代码,旧签核自动失效,要重新看、重新签。

模型分层和权限体系也有同样的边界。档位解决的是成本结构,不解决能力上限;权限规则解决的是边界,不解决 agent 是否真的理解任务。配置能做的是让失败变得可见、可定位、可复现,而不是让失败不发生。

回头看这三件事的共同点:单模型分层把“该花多少推理”变成一个可查的档位;有序权限把“能不能做”变成一条可穷举的求值链;视频门禁把“好不好看”拆成一组带阈值的信号。它们都没有消除判断,只是把判断挪到了人能复核的位置。

项目地址 https://github.com/znlgis/my-opencode-deepseek-config

自己介绍自己的视频 https://www.bilibili.com/video/BV1y8sq6yEsA

自己生成的使用教程视频 https://www.bilibili.com/video/BV11bsq6LEt2

 

posted @ 2026-11-20 18:14  我才是银古  阅读(0)  评论(0)    收藏  举报