生成式AI——基础概念(一）

1、上下文窗口——发送给LLM的提示词和LLM的回复的完整历史记录就是上下文窗口。

       *实际上，你发送的每个新提示都包含你之前的的所有提示和模型的答复，LLM使用此完整历史记录作为上下文来创建下一个答案。

　　*每个LLM都有一个最大上下文窗口大小，按模型和版本更改。如果对话超过上下文窗口大小，LLM会删除最旧的部分，并在答案中忽略它们

　　*较长的上下文窗口意味着模型必须处理更多数据，可能会降低处理速度同时增加运算成本

　　*上下文窗口大小使用标记，而不是单词

2、令牌/标记（Token）——LLM可以处理文本的最小部分

　　*令牌可以是整个单词、部分字词或单个字符(具体取决于语言和标记器)

　　*LLM根据提交的提示中令牌数量及生成回答所含的令牌数量来计费

　　*不同LLM令牌价格有所不同，比如每100万个令牌的价格为20RMB

3、标记器（Tokenizer）——将文本分解为令牌/标记处理组件

　　*标记器是人类语言和LLM之间的“翻译官”

　　*标记器将人类语言转换成LLM可以理解处理的由数字构成的序列

4、序列(Sequence)——可以是由一个向量或多个向量组成的列表

　　*比如：[标记1, 标记2, 标记3]

5、向量 (Vector)—— 指的是表示单个数据的一组数字（数组）

　　*如标记1 对应的向量是 [0.1, 0.5, -0.9, ...]

6、标记化——人类语言转换为大预言模型“语言”过程

　　当我们把一句话输入给模型时，转化过程是这样的：
　　文本序列： "I love EFun"
　　标记序列 (Token Sequence)： 模型先把它切成 ID 序列，比如 [101, 255, 999]。这时候它还只是数字 ID 的序列。
　　向量序列 (Vector Sequence)： 模型通过“嵌入层”查找，把每个 ID 变成一个高维向量。
　　101 ("I") 变成了向量 A
　　255 ("love") 变成了向量 B
　　999 ("EFun") 变成了向量 C
　　此时，模型真正处理的输入是一个向量序列：[向量A, 向量B, 向量C]。

7、系统提示(System Prompt)——应用于每个聊天的规则

　　*系统提示定义了LLM是谁，以及如何回话等

　　*系统提示是LLM交互的基石，可以把它想象成计算机的操作系统或一个角色的剧本。它在对话开始前就被设定好，为LLM的行为划定了一个稳定的框架。

　　*如系统提示对LLM做以下设定：　　　　　　

• • 角色设定：定义模型的身份，例如“你是一个专业的Python程序员”或“你是一位友善的客服助手”。
  • 风格与语气：规定模型的表达方式，比如“回答要简洁、专业”或“使用幽默风趣的语言”。
  • 行为约束：设定安全与伦理边界，例如“禁止生成有害或偏见内容”。
  • 格式规范：指定输出的格式，如“始终使用Markdown格式”或“仅输出JSON”。

8、用户提示(User Prompt)——发送到LLM的内容，以及LLM回复的内容

　　*用户提示告诉LLM要做什么

　　*用户提示是用户在与LLM交互时输入的具体指令或问题。它相当于在操作系统上运行的应用程序，执行具体的任务。

　　*如用户提示做以下内容：　　　　

• 下达任务：直接告诉模型需要完成的工作，例如“将下面这段话翻译成英文”或“帮我写一封请假邮件”。
• 提供信息：为模型提供完成任务所需的上下文或具体数据。
• 即时追问：在对话中根据模型的回答进行追问或调整方向，例如“能给我一个更便宜的方案吗？”。

9、系统提示和用户提示比较

特性	系统提示 (System Prompt)	用户提示 (User Prompt)
定义者	开发者或应用管理员	终端用户
作用范围	全局性，影响整个会话的行为准则	局部性，仅针对当前单次请求
持久性	稳定持久，在会话中保持不变	临时动态，随用户输入而变化
核心功能	设定角色、风格、规则和安全边界	提出具体问题、下达任务指令
可见性	通常对终端用户隐藏	用户直接可见并可编辑

  　　系统提示和用户提示通常是协同工作的。系统提示搭建舞台，用户提示上演剧目。

　　　　系统提示：你是一个乐于助人的旅行规划助手。你的回答应该结构清晰，并优先推荐性价比高的选项。
　　　　用户提示：我计划下个月去云南玩5天，预算5000元，请帮我规划一个行程。
　　在这个例子中，系统提示确保了模型始终以“旅行规划助手”的身份，用“结构清晰、注重性价比”的风格来回答。而用户提示则提供了这次规划所需的具体信息（目的地、时长、预算）。