存档搜索数据前,先算清楚这笔账

很多人一听说"搜数据可以存档做分析",就兴奋地开始天天抓。但我见过太多人,抓了一个月,发现两件事:

一是钱花得比想象多。二是数据存了一堆,但当初想分析的"趋势",根本分析不出来——因为从一开始就没设计好。

这篇不劝你存,先帮你算账。

存档的隐藏成本

存档 = 每天都要查,哪怕你今天根本没看这些数据。

1000 个词,每天查 1 次 = 1000 积分/天 = 3 万积分/月。这还只是"存着",不算你实际看的时候再查。

所以第一个问题不是"要不要存",是"值不值得天天存全部"。

控制办法一:分频率

不是所有词都值得天天存。核心业务词天天存,关注词一周存一次:

CORE_KEYWORDS = [...]   # 核心业务词,每天存
WATCH_KEYWORDS = [...]  # 关注词,每周存

def schedule(keyword):
    if keyword in CORE_KEYWORDS:
        return "daily"
    return "weekly"

控制办法二:只存能用的字段

别整包存原始响应,只存分析要用到的。省存储,也省以后处理的时间:

def extract_for_archive(data):
    return {
        "organic": [
            {"rank": i.get("rank"), "title": i.get("title"), "link": i.get("link")}
            for i in data.get("organic", [])[:10]
        ],
        "paa": [p.get("question") for p in data.get("people_also_ask", [])[:3]],
        "request_id": data.get("request_id"),
    }

落地

import requests, sqlite3
from datetime import datetime

conn = sqlite3.connect("serp_archive.db")
conn.execute("""CREATE TABLE IF NOT EXISTS archive
    (keyword, rank, title, link, date)""")

def archive(keywords):
    for kw in keywords:
        r = requests.post(
            "https://api.serpbase.dev/google/search",
            headers={"X-API-Key": "你的key"},
            json={"q": kw, "hl": "zh-CN", "gl": "cn"},
            timeout=10,
        )
        data = extract_for_archive(r.json())
        for item in data["organic"]:
            conn.execute("INSERT INTO archive VALUES (?,?,?,?,?)",
                (kw, item["rank"], item["title"], item["link"],
                 datetime.now().strftime("%Y-%m-%d")))
        conn.commit()

三种策略的成本对比

策略	1000 词月成本
全部每天	3 万积分
核心每天 + 关注每周	~1 万积分
只存核心(500 词)	1.5 万积分

我的建议:先只存核心词,跑两周,确认这套数据能回答你的问题,再决定要不要扩。

还有三件事

• 固定 hl/gl:不然存了也没法对比
• 设保留期限:别无限存,设个 90 天
• request_id 一定存:以后数据出问题,能回溯到是哪次查询

接口文档在 serpbase.dev/docs。存档这事,先算账,再动手——不然抓了一个月,发现自己存了一堆用不上的。