10.30
今天过得有点割裂,下午还在数学的抽象世界里跟矩阵较劲,晚上就一头扎进了视频渲染和民族共同体的宏大叙事里。但细想起来,这两件事居然在“结构”这个层面上悄悄握了手。
下午:卷积里的“局部与整体”
人工智能数学基础讲到了卷积。老师没有一上来就甩公式,而是先问了一个问题:如果让你识别一张照片里有没有猫,为什么不能像传统神经网络那样,把每个像素都连到一个神经元上?答案很快被算出来:一张普通的手机照片就有上千万像素,全连接层的参数量会直接爆炸。
卷积的聪明之处在于局部感知和权值共享。一个 3×3 的小核在整张图上滑动,每次只看一个小窗口,但同一个核的参数被所有位置复用。这意味着网络在寻找某种特征(比如边缘、纹理)时,不在乎这个特征出现在图片的左上角还是右下角。那个滑动的过程,本质上是在用同一个“问题”反复拷问图像的每一个局部。
然后讲到了填充和步幅。如果不做填充,每卷一次图就小一圈,边缘的像素被“看”的次数远少于中间的像素,信息在边界处悄悄流失。填充零值把画布撑大,让边缘也能被平等地对待。步幅则是控制滑动的跨度,步子大了,输出就小,计算量降下来,但细节也粗了。
我在草稿纸上画那个 6×6 矩阵被 3×3 核扫过变成 4×4 的过程,突然觉得它很像某种审视历史的方式:你用一个固定的视角去扫过漫长的时空,每一段局部被同样的框架丈量,但边界处的那些东西,如果不去刻意“填充”关照,就容易被忽略。当然,这只是走神时的胡思乱想,数学本身还是干净的。
晚上:刚留的小组作业与两个工具的脾气
中华民族共同体概论课刚留了视频小组作业,选题落在“各民族交往交流交融的历史脉络”上。素材其实还没怎么找,但我想先把技术路线跑通,于是今晚先拿手头零散的几张图试试水。
我决定试两条路。先用了你给的那个 dsh 插件(code-video-showcase)。翻了一下它的说明,这东西很有意思——它根本不是一个“生成模型”,而是一套纯代码的确定性渲染流水线。它把一条 61 秒的展示视频拆成了精确到帧的公式:8 秒开场,接着 N 个 4 秒的轮次(每个轮次 = 1 秒大字卡 + 3 秒风格片段),最后收尾。每一帧都是时间 t 的纯函数,没有随机数,没有 CSS 动画,同样的秒数在任何机器上渲染出来一模一样。它内置了十一种视觉风格,从扁平科学风到水墨、故障艺术都有。我用它的模板搭了一个大概的骨架,把“多元一体”“交往交流交融”这些关键词做成大字卡,配上它自带的 120 BPM 合成音轨,出来的结构是稳的,但画面内容还是偏抽象,缺一点血肉——毕竟素材还没齐,骨架先立着。
于是又开了 Seedance 2.5 来试生成视觉素材。这个模型今年八月刚发,单次能生 30 秒,支持多模态参考素材,最多能塞 50 个图片、视频或音频进去做条件。我丢了几张网上找的文物照片和一段民歌音频进去,让它生成“多民族服饰在集市中交错走过”的镜头,先看看质感。它的长处在于时序一致性——人物和场景在几秒内不会突然崩坏,而且可以直接用参考图锁定服饰的样式,不用靠文字反复描述。不过提示词得写得很“制片”:主体、动作、镜头运动、光线、音频氛围,缺一项它就自由发挥。折腾了几轮,总算出了几段能看的样片,至少比纯用图片轮播有呼吸感。
一点不成熟的联想
深夜把两段素材拼在一起看的时候,脑子里还挂着下午的卷积。那个 3×3 的核在图像上滑动,每次只看九个格子,但整张图被它扫完之后,全局的信息就被“压缩”成了特征图。填充让边缘不被丢掉,步幅决定了视角的粗细。
做这个共同体视频其实也像在手动做一场卷积。我们手里的素材——文物照片、民歌录音、历史文本——就是那张大图。我们要选的“核”是什么?是“交往交流交融”这个视角。用它去扫过每一个历史片段,有些片段响应强烈,被激活成画面;有些响应弱,被池化掉。而填充,大概就是那些在时间线两端容易被忽略的细节:起源处的神话,和当下的日常。如果不刻意给它们留出画布边缘的位置,它们就会在层层下采样中消失。
当然,视频还很粗糙,素材也远没找齐。大字卡的字号要调,Seedance 生成的镜头和代码渲染的段落之间色调不统一,音轨的鼓点也没完全卡上。但至少今晚,先把流水线跑通了,卷积的数学和共同体的叙事也在某个奇怪的维度上互相打了个招呼。
明天开始正式收素材,顺便把填充参数再调调,想想怎么让视频的“边缘”也获得足够的像素。

浙公网安备 33010602011771号