alin_qu

摘要： 方案一句话：输出 token 未知，就用预估值预扣占坑（admit），在途期间由预留层替它出现在窗口里（in-flight），流结束用真实值接班兑平（settle）。窗口本身用 Redis 分桶滑动窗口（7 桶 × 10s，恒覆盖 ≥60s）承载，多实例共享、O(1) 成本。 目录 0. 背景：要解 阅读全文

摘要： 很多人理解熔断器，第一反应都是： 错误率超过 50% ↓ OPEN ↓ 全部请求失败 这套模型没有错，而且至今仍然非常实用。 但如果下游并没有完全挂掉，只是成功率从 99% 降到了 70% 呢？ 如果它只是因为突发流量开始出现一部分 429 呢？ 如果某个 LLM Provider 还能处理请求，只 阅读全文

摘要： 1. 系统定位 flowchart LR A["业务知识源<br/>文档 / 表格 / 文件"] --> B["知识库处理<br/>解析 / 切分 / Embedding"] B --> C["检索索引<br/>MySQL + Milvus"] D["用户问题"] --> E["向量召回<br/>过 阅读全文

摘要： 1. 从传统网关到 LLM 网关 传统 API 网关处理的大多数请求，可以抽象成一次完整的请求响应： flowchart LR C["客户端"] --> G["传统 API 网关"] G --> S["后端服务"] S -->|"完整响应"| G G -->|"完整响应"| C 网关主要关心： 鉴权 阅读全文

摘要： AI 大模型平台 一、项目定位 这是一个面向企业内部业务的多模型统一接入平台。 平台向上提供统一的聊天、图片生成和后台调试能力，向下接入多个模型供应商，并在中间完成： 统一请求协议； 模型与供应商路由； Prompt、知识库和业务配置组装； 流式与非流式响应适配； API Token 与后台 SSO 阅读全文

摘要： 1. 背景 本文描述一个面向 B 端固定 AI 服务的应用层 RPM / TPM 限流方案。 业务具有以下特点： 以 service_id 作为固定服务标识和限流主体。 每个服务具有相对固定的 Prompt，并动态拼接业务条件。 每个服务配置固定的 RPM（Requests Per Minute）和 阅读全文

摘要： 商品价格与优惠中台 商品价格与优惠中台 目录导航 展开 / 收起目录 商品价格与优惠中台：业务与技术架构分享 目录导航 开场：电商比价平台的核心挑战 规模背景：大促期间每秒处理 3000+ SKU 价格 1. 业务背景：用户看到一个价格，系统要回答一组问题 2. 业务架构：三个核心模块 2.1 Ad 阅读全文

摘要： 1. 文档范围 阶段：方案调研 对象：当前 new-api 源码中的同步 Relay、用户钱包、API Token 和异步 Task 扣费 重点：多 Pod 场景下，Redis Lua 如何执行额度扣减，MySQL 如何持久化余额和统计 证据边界：本文基于源码静态分析，未执行多 Pod 压测、故障注 阅读全文

摘要： 一、OpenAI 老协议：Chat Completions 1.1 协议定位 Chat Completions 以 messages[] 表示对话历史，模型返回结果主要位于 choices[]。它适合已有聊天应用、兼容 OpenAI Chat API 的客户端和相对稳定的文本/工具调用流程。 项目 阅读全文

摘要： 1. 避免大key 危害： 数据热点问题，集群模式在slot分片均匀情况下，会出现数据和查询倾斜情况，部分有大key的Redis节点占用内存多，QPS高 慢查询问题,服务超时 网卡带宽压力,极端情况下会打满带宽 2.使用优化 过期时间 为大key或者特定业务设置合理过期时间，避免同一时间大量过期。同 阅读全文