摘要：
整理 本文整理了一些简单的文本切分方式，适用于大语言模型经典应用RAG或相似场景。 一般切分 如果不借助任何包，很容易想到如下切分方案： text = "我是一个名为 ChatGLM3-6B 的人工智能助手，是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我 阅读全文
摘要：
语料准备 选择了一篇新闻稿，有比较明显的段落区分，每个段落由若干句子构成，可用于验证切分效果。 # 节气释义 小寒，是二十四节气中的第二十三个节气，太阳到达黄经285度时开始。 《月令七十二候集解》中说：“十二月节，月初寒尚小，故云。月半则大矣。”冷气积久而寒，小寒是天气寒冷但还没有到极点的意思。 阅读全文