wangssd

摘要： Tool Tool 是一个核心抽象概念，它代表了一个可以被大型语言模型（LLM）调用的功能或服务。 上层抽象：是 LangChain 框架中的概念 应用层封装：将函数调用、API 调用等各种能力统一封装成标准接口 框架概念：LangChain 提供的组织和管理外部能力的方式 Tools 通常会多次调 阅读全文

摘要： 异步编程是一种高效的并发编程范式，特别适用于 I/O 密集型的应用（如网络请求、文件读写、数据库操作等）。它的核心思想是：当遇到需要等待的操作时，不是让程序“干等”，而是暂停当前任务，去执行其他可以立即运行的任务，等到那个等待的操作完成后，再回来继续执行。 Python 3.5就已经开始支持异步编程 阅读全文

摘要： 中文分词是NLP中一个独特且富有挑战性的任务，因为中文文本没有像英文空格那样的天然词语边界。 现代分词器模型（尤其是基于Transformer的模型如BERT、GPT等使用的中文分词器）主要采用子词分词算法，但其处理方式与英文有显著不同。 特性传统中文分词器 (如Jieba, HanLP)现代模型分 阅读全文

摘要： Hugging Face Hugging Face 是一个开源的机器学习平台和社区。 库名称主要功能官方资源/文档链接 Transformers 🤗 提供数千个预训练模型，用于自然语言处理(NLP)、语音识别、计算机视觉等任务。 https://huggingface.co/docs/transf 阅读全文

摘要： 预训练(基础知识广泛学) 微调(具体实操岗前学) 后训练(RLHF专业领域深入学) 策略模型、参考模型、价值模型、奖励模型 策略模型：待后训练的大模型 参考模型：初始的策略模型。 奖励模型（RM）：目标是刻画模型的输出是否在人类看来表现不错。即，输入 [提示(prompt)，模型生成的文本] ，输出 阅读全文

摘要： 核心性质： 马尔可夫性： 一个随机过程在给定现在状态和所有历史状态的情况下，其未来状态的条件概率分布仅依赖于当前状态。即未来的转移和过去是独立的，只取决于现在。 马尔可夫决策过程 是顺序决策问题的数学模型，用于在随机性和不确定性的环境中模拟智能体的决策过程。 简单来说，它描述了一个场景：一个“智能体 阅读全文

摘要： Telegraf 是一个用 Go 编写的代理程序，是收集和报告指标和数据的代理。可收集系统和服务的统计数据，并写入到 InfluxDB 数据库。Telegraf 具有内存占用小的特点，通过插件系统开发人员可轻松添加支持其他服务的扩展。 Telegraf是TICK Stack的一部分，是一个插件驱动的 阅读全文

摘要： ubuntu安装： https://www.oryoy.com/news/ubuntu-xi-tong-xia-qing-song-bu-shu-influxdb-ru-men-jiao-cheng-yu-shi-zhan-an-li.html # 安装influxdb 时序数据库 sudo apt 阅读全文

摘要： 计算自注意力时，Q（查询）向量在每次解码步骤中都是全新的，而 K（键）和 V（值）向量大部分是重复的，缓存 K 和 V 可以避免大量的重复计算。 下面通过一个具体的例子来详细解释为什么。 自注意力机制 在解码（生成）过程中，对于每一个新生成的 token，都有： Q (Query)：来自当前新生成的 阅读全文

摘要： vLLM 通过命令行工具 python -m vllm.entrypoints.api_server 启动 OpenAI 兼容的 API 服务器，其参数涵盖了模型加载、推理、调度和服务的各个方面。 启动命令基本结构 bash python -m vllm.entrypoints.api_server 阅读全文