收录站的 URL 规范化：把重复页面的权重收回来

做收录型站点的人大概都遇到过这种情况：明明只有一个站点，搜索结果里却冒出四五个不同地址。

https://example.com/tool
https://example.com/tool/
http://example.com/tool
https://www.example.com/tool
https://example.com/tool?utm_source=x

这些地址指向同一份内容，但在搜索引擎眼里是五个独立页面。收录型站点因为有"一站多分类"的特性，天然会放大这个问题——站点可能被同时收录进"开发工具""效率工具""在线工具"三个分类，于是详情页的权重被摊薄成三份。

一、规范化的目标

规范化的目标很单纯：让同一个资源在站点内只存在一个合法地址，其他形式全部指向它。

实现上通常是一个纯函数，负责把所有输入规整成唯一形式：

from urllib.parse import urlsplit, urlunsplit

def normalize(url: str) -> str:
    p = urlsplit(url.strip())
    scheme = "https"          # 统一协议
    host = (p.hostname or "").lower()
    if host.startswith("www."):
        host = host[4:]        # 去掉 www
    path = p.path.rstrip("/")  # 去尾部斜杠
    return urlunsplit((scheme, host, path, "", ""))  # 丢弃 query

几个设计取舍值得说明：

为什么丢掉 query。 站点详情页的 query 参数通常只用于埋点追踪（utm_source、from 等），不承载内容语义。如果保留，埋点参数的不同组合会生成大量重复页面。

为什么统一成 https。 同一站点 http 与 https 并存时，搜索引擎可能视为两个版本。统一后重定向一次即可。

为什么去 www。 这是历史遗留习惯，example.com 与 www.example.com 指向同一服务器，但很多老站点只做了单侧跳转。

二、三条配套规则

光有函数不够，还需要三条约束一起上：

1. 规范化函数作为唯一入口 —— 任何写入路径（爬虫入库、后台编辑、导入）都必须经过它，不能有旁路
2. 变体 URL 全部 301 到规范 URL —— 不是 302
3. 站点详情页只允许存在一种形式的地址 —— 包括 sitemap 里提交的、分类页里指向的

第三条最容易被忽略。如果 sitemap 里提交的仍然是旧格式，搜索引擎会同时抓到两个版本。

三、301 还是 302

这是最容易搞混的一点。搜索引擎对重定向类型的处理规则是：

类型	含义	权重传递	使用场景
301	永久重定向	传递	地址永久变更、规范化归并
302	临时重定向	不传递	临时跳转、A/B 测试、登录跳转

规范化场景必须用 301。原因是搜索引擎需要明确知道"旧地址已永久废弃，权重请转移给新地址"。用 302 会导致规范化目标页拿不到原页面的积累，只会被当作临时跳转处理。

反过来，302 也有它该用的地方：站内搜索结果的临时跳转、灰度发布的分流、第三方 OAuth 回调，这些都不该被当成地址变更。

四、什么时候必须先做规范化

如果站点还在早期，没有必要立刻投入这件事。判断标准是：

• 单站被收录的地址数已经超过 2 个 —— 说明重复问题已经发生
• 分类页与详情页之间出现关键词蚕食 —— 多个 URL 竞争同一组关键词
• GSC 里出现"已发现但未编入索引"激增 —— 大量变体占用了抓取预算

如果还没到这一步，先把收录流程做扎实更重要。规范化的收益随站点规模放大，早期做是过度设计。

五、验证方式

改完之后要能确认结果，而不是凭感觉。几个检查点：

• 随机抽 20 个已收录的 URL，逐个请求，看最终落点是否都是规范形式
• 在 GSC 的"网址检查"里输入变体地址，确认返回的是"已重定向到"
• 观察一两周内 GSC 报告的"重复内容"类问题数量变化

小结

URL 规范化是收录型站点投入产出比最高的一项优化：代码量很小（几十行），但影响的是全站权重的集中度。

执行顺序建议是：先建规范化函数 → 再接入所有写入路径 → 最后批量 301 归并。顺序反了的话，会不断产生新的重复页面，前面做的归并白做。

收录治理的其他部分（死链分层判定、批量抓取的连接控制）我在另一篇文章里写过，感兴趣可以看 VP导航，那套流程就是为这个规模设计的。