摘要: 一、整体思路 长网页文本往往超过 LLM 单次处理的 token 限制,我们需要设计一个 map-reduce 流水线来拆分、局部总结、归并: 加载网页内容 拆分成可控大小的 chunk 对每个 chunk 做初步总结 (map) 汇总所有初步总结 (reduce) 如有需要递归 reduce 直到 阅读全文
posted @ 2025-06-24 10:36 chester·chen 阅读(703) 评论(0) 推荐(0)