给 9 万个页面做边缘 SSR:一次搜索引擎收录修复的实录
我维护了一个业余项目 TrailerTube(trailer.terryso.dev),一个电影预告片聚合站:数据来自 TMDB,播放走 YouTube 官方上传,免费、无广告、不需要登录。目录里有 43 万部电影的元数据,其中 9.2 万部验证过预告片可用,全部排进 sitemap 提交给了 Google。
提交了2个星期,Search Console 的数字是这样的:
- 已收录:151
- 已发现,尚未编入索引:91,644
- 搜索流量:7 天 1 次点击
「已发现,尚未编入索引」的意思是 Google 知道这些 URL 存在,但没来抓。9.1 万个页面被放着不抓,总得有个原因。
诊断
拿 curl 抓一个非预渲染的页面,问题一目了然:
$ curl https://trailer.terryso.dev/watch/5492
<title>Movie Trailers and Film Discovery | TrailerTube</title>
(无 canonical,body 里只有一个空的 <div id="root">)
除了 500 个构建期预渲染的页面,其余 9.17 万个 /watch/* 返回的都是同一个 SPA 壳:标题相同、没有 canonical、正文为空。对 Google 来说这是 9 万个内容完全相同的薄页面。
搜索引擎给每个站点分配抓取预算,依据是站点权重和历史抓取质量。一个零外链的新域名提交 9 万个 URL,其中 99.8% 是重复空壳——爬虫抓了几千个发现都一样,剩下的就不来了。收录 151 个不是 Google 的问题,是我给了它 9 万个不值得抓的页面。
约束:不能全量预渲染
修复思路最直接的是把 9 万个页面全部预渲染成静态文件。但部署在 Cloudflare Pages 上,单次部署有 2 万个文件的上限,这条路直接封死。
换个角度想:其实不需要「全部静态化」。用户端本来就是 React SPA,搜索引擎需要的是拿到完整 HTML。如果部署时的 worker 能在请求到达时现场把 HTML 拼出来,问题就变成了两件事:worker 里怎么拿到单部电影的元数据、以及每次渲染的 CPU 开销。
已有的基础
站点本来就有 worker。_routes.json 把 / 和 /watch/* 路由进 Pages Functions,每个 watch 请求都会做一次 ID 存在性校验:64 个 movie-ids-*.json 分片(每片是纯 ID 数组,按 id % 64 分桶),构建时算好 SHA-256 摘要烤进 _worker.js,运行时读分片、验哈希、查 ID,对不上就 404。fails-closed,防篡改。
所以 worker 本来就每个请求读一次分片。它校验完就把数据扔了,最后返回一个空壳。数据近在手边,差的只是最后一步:用数据把 HTML 拼出来。
分片必须重新切
直接复用现有数据分片不行。目录的 feed 分片 10 个、每个约 6.9MB;明细分片 64 个、每个约 3.3MB。worker 的 CPU 时间限制是每请求几十毫秒,JSON.parse 一个 7MB 字符串就超了。
办法是把分片切得更细。构建时从 feed-details 记录投影出渲染需要的 15 个字段(标题、简介、genres、封面、runtime、导演、演员、trailer ID 等),按 id % 256 分成 256 个桶,每个桶约 236KB,JSON.parse 1-3 毫秒。部署时同样把每片的 SHA-256 摘要烤进 worker 配置,运行时验哈希,延续 fails-closed 的做法。
渲染函数只写一次
预渲染的 500 个静态页和边缘渲染的页面必须逐字节一致,否则两套模板迟早漂移。所以渲染逻辑抽成一个模块,构建期的生成脚本和运行期的 worker import 同一个函数:
renderMoviePage({ templateHtml, movie, genres, origin, videoMeta }) → html
输入模板(vite 产物 index.html)、电影数据、genre 表,输出替换过 <title>、meta description、canonical、OG/Twitter 标签和 JSON-LD VideoObject 的完整 HTML,正文里拼上简介、演职员表和 genre 内链。worker 拿这个函数直接用,Node 侧的脚本也拿它直接用——没有第二份模板。
worker 的 fetch handler 由此变成三条路径:
- 静态文件存在(预渲染的那批):直接走静态资源,最快路径不变;
- 静态文件不存在但 ID 在目录里:读渲染分片 → 验哈希 → 现场渲染 → 响应头
cache-control: public, max-age=3600,同时ctx.waitUntil写进 Cache API。缓存键带上renderVersion——它是渲染分片摘要、模板哈希、预渲染 ID 集合和 genre 表共同哈希出来的 16 位值,每次部署必变,缓存天然失效,不需要手动清; - ID 在目录但预告片不可用:返回 SPA 壳并注入
<meta name="robots" content="noindex">,把几千个无内容的页面从索引候选里摘掉。
404 和 503 的路径不变。模板本身(含静态资源的 hash 文件名)在 isolate 里记忆化,每个 isolate 只取一次。
顺手补的两件事
视频 sitemap。之前 sitemap 只有普通 URL,GSC 视频报告为 0。给每部电影加上 Google 的 video 扩展(thumbnail_loc 指向 i.ytimg.com 缩略图、player_loc 指向 YouTube embed、时长),单文件控制在 2 万条以内。
三个 hub 页。/categories、/playlists、/about 之前也在 sitemap 里,但同样是 SPA 壳。预渲染成静态页,各带唯一 title、canonical 和可抓取的链接列表。
三天后的数据
11 月 11 日上线,Search Console 的数字(索引数据有 1-3 天滞后):
| 指标 | 上线前 | 第 3 天 |
|---|---|---|
| 已收录 | 151 | 522 |
| 已发现,尚未编入索引 | 91,644 | 91,376(首次下降) |
| 视频已编入索引 | 259 | 651 |
| 曝光(28 天窗口) | 34 | 62 |
收录翻到 3.5 倍,「已发现未收录」第一次掉头。而且这批数字发生在 Google 重读新 sitemap 之前——靠的是内链和页面质量本身。视频收录翻 2.5 倍则完全来自预渲染页上的 VideoObject,视频 sitemap 的 9 万条还在队列里没被读到。
几点体会
- 「已发现,尚未编入索引」大面积出现时,先 curl 看看爬虫拿到的是什么。九成的可能是页面不值得抓,而不是需要提交多少次 sitemap。
- 抓取预算是真实存在的约束。同一个 worker 本来就在每请求读分片做校验,把校验过的数据用起来,边际成本很小。
- 静态预渲染和边缘渲染不冲突:有静态文件的走静态,没有的现场渲染,两端共用同一份渲染代码就不会漂移。
- Cloudflare Pages 的 2 万文件上限看着像死路,但把「全量静态」换成「按需渲染」之后,文件数根本不参与这道算术。
站点:https://trailer.terryso.dev(免费、无广告、无登录,预告片全部走 YouTube 官方上传;顺带做了 llms.txt 和一份开放的 JSON API,AI 助手查预告片也能直接用:https://trailer.terryso.dev/api/v1/README.md)

浙公网安备 33010602011771号