将内容上传至知识库后，要对内容进行分段与数据清洗。该阶段是内容的预处理与数据结构化过程，长文本将会被划分为多个内容分段。 1 分段 由于LLM的上下文窗口有限，无法一次性处理和传输整个知识库的内容，因此需对文档 中的长文本分段为内容块。即便部分大模型已支持上传完整的文档文件，但实验表明，检索效率依然 ...

几个核心概念 张量(tensor):张量表示一个由数值组成的数组，这个数组可能有多个维度 标量(scalar):标量由只有一个元素的张量表示,0阶张量 向量(vector):向量可以被视为标量值组成的列表。 这些标量值被称为向量的元素（element）或分量（component）,1阶张量 矩阵(m ...

1 ollama 1.1 什么是ollama ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型。 1.2 下载ollama （1）直接从ollama官 ...

视频安全能力要求 按照《生成式人工智能服务安全基本要求.pdf》中5大类31小类构建题集 1、违反社会主义价值观 a)煽动颠覆国家政权、推翻社会主义制度） b)危害国家安全和利益、损害国家形象 c)传播虚假有害信息 d)其他法律、行政法规禁止的内容 e)煽动分裂国家、破坏国家统一和社会稳定 f)宣扬 ...

这是可优化的细节。这里过时的提示倾向于说工作空间有一个默认的重新排名模型，但在执行一些前端逻辑后我们发现当前的重新排名模型是空的或未定义的，因此这个当前模型已过时。 但这里默认模型实际上是一个所有字段都是空字符串的模型结构： { "provider":"", "model": "" } 在这种情况下 ...

GRPO （Group Relative Policy Optimization ） GRPO https://arxiv.org/pdf/2402.03300 对于每个question q，GRPO从old policy \(\pi_{old}\) 采样一组输出 \({o_1, o_2 ...,o ...

创建知识库并上传文档大致分为以下步骤： 通过上传本地文件、导入在线数据或创建一个空的知识库。 1 导入文本数据 轻点 Dify 平台顶部导航中 “知识库” → “创建知识库”： 可上传本地文件、导入在线数据两种方式上传文档至知识库内。 1.1 上传本地文件 拖拽或选中文件进行上传，支持批量上传，同时 ...

DeepSeek-R1大模型具备深度思考和推理能力，在数学、代码、自然语言推理等任务上都有着极大的提升。一方面由于官方或第三方的在线服务或多或少存在不稳定的问题，另一方面考虑到数据安全和隐私问题，本地私有化部署DeepSeek开源大模型对个人或企业来说也是一种不错的选择。本文主要介绍完整参数版本 d... ...

一、总体方案 目前在使用 DeepSeek 在线环境时，页面经常显示“服务器繁忙，请稍后再试”，以 DeepSeek R1 现在的火爆程度，这个状况可能还会持续一段时间，所以这里给大家提供了 DeepSeek R1 +RAG 的本地部署方案。最后实现的效果是，结合本地部署的三个开源工具，包括 1Pa ...

1 定义 智能助手（Agent Assistant），利用LLM的推理能力，自主对复杂的人类任务进行目标规划、任务拆解、工具调用、过程迭代，在无人类干预的情况下完成任务。 2 咋用智能助手？ “探索”中找到Agent的应用模板，添加到工作区或在此基础自定义。在工作室也可从0编排一个Agent。 选择 ...

背景Ragflow（RAGFlow）是一款基于深度文档理解的开源检索增强生成（Retrieval-Augmented Generation，RAG）引擎。以下是对Ragflow的详细介绍：一、核心特性深度文档理解：Ragflow具备从复杂格式的非结构化数据中精准提取知识的能力，能够在海量数据中定位关 ...

在前一篇博文中尝试了使用阿里云 GPU 实例 ECS 单机部署了 DeekSeek-R1 7b 模型 。这篇博文记录一下在 k8s 集群上用阿里云 GPU 实例部署 DeekSeek R1 大模型的尝试过程，部署的也是 deepseek-r1:7b 模型。 先准备一台阿里云 GPU 实例，选用了共享... ...

春节前DeepSeek R1和Kimi1.5炸翻天了，之前大家推测的O1的实现路径，多数都集中在MCTS推理优化，以及STaR等样本自优化方案等等，结果DeepSeek和Kiim直接出手揭示了reasoning的新路线不一定在SFT和Inference Scaling，也可以在RL。也算是Post ... ...

大家好，我是 V 哥。如何自己部署DeepSeek调用满血版。首先，如果你遇到了使用公共服务器时的延迟或限制，想要本地部署以获得更好的性能和稳定性。你是不是也想自己来部署DeepSeek呢，其实除了自己部署本地DeepSeek，还可以在云上免费部署满血版DeepSeek，接下来，V 哥来介绍这两种方 ...

奖励模型相关内容 这是 让 LLM 来评判 系列文章的第五篇，敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 什么是奖励模型？ 奖励模型通过学习人工标注的成对 prompt 数据来预测分数，优化目标是对齐人类偏好。 ...

工作室操作 Agent 选择模型时对话报错： "Model schema not found" error only in agents 是因为没打开模型的函数调用功能： 当然，也不是所有模型都支持该功能。 本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 魔都架构师 | ...

0 前言 神经网络是一种人工智能方法，用于教计算机以受人脑启发的方式处理数据。这是一种机器学习过程，称为深度学习，它使用类似于人脑的分层结构中的互连节点或神经元。它可以创建自适应系统，计算机使用该系统来从错误中进行学习并不断改进。因此，人工神经网络可以尝试解决复杂的问题，例如更准确地总结文档或人脸识 ...

0 前言 Dify的一个“应用”指基于LLM构建的实际场景应用。通过创建应用，可将智能 AI 技术应用于特定的需求。它既包含了开发 AI 应用的工程范式，也包含了具体的交付物。 一个应用为开发者交付： 封装友好的 API，可由后端或前端应用直接调用，通过 Token 鉴权 开箱即用、美观且托管的 W ...

模型结构 MLA(Multi-Head Latent Attention) 主要作用是在保证效果的基础上, 利用低秩压缩的原理优化kvCache, 加速推理, 同时节省训练显存. 先回忆下MHA, 在每个head上, 分别经过K, V生成 $ attnweights=(W_Qh_i)^T∗(W_Kh ...

LangChain 核心模块 Agent（构建复杂应用的代理系统） ReAct: Reasoning + Acting ReAct Prompt 由 few-shot task-solving trajectories 组成，包括人工编写的文本推理过程和动作，以及对 动作的环境观察. ReAct P ...