LoRA精读笔记 背景 随着我们预训练更大规模的模型，完全微调（即重新训练所有模型参数）变得越来越不可行。 ==>提出了提出了低秩适应（Low-Rank Adaptation，LoRA）方法，该方法冻结预训练模型的权重，并在Transformer架构的每一层中注入可训练的秩分解矩阵，从而大大减少了下 ...

【视频发布】正点原子RK3588开发板本地化部署DeepSeek R1 大模型视频系列视频教程来啦！ 一、课程内容 承接上一次板端部署DeepSeek R1大模型的文档教程，应粉丝们的要求，本次推出视频教程，手把手教学实现端侧部署，无需依赖云端服务器即可本地化处理数据，功耗更低、成本更优异、数据更安 ...

0 前言 2025年2月25日，今天发布迄今为止最智能的模型——Claude 3.7 Sonnet，全球首个混合推理（Hybrid Reasoning）模型。 提供： 近乎实时回答 同时进行深入的、分步骤的推理 且这种思考过程可直观展示给用户 对API用户，还可精细控制模型的思考时长 在编程和前端开 ...

我先按照自己的思路来梳理下R1之前整个模型思维链的发展过程，可以分成3个阶段：大模型能思考，外生慢思考，内生慢思考 ...

0 前言 第一期 AI发展之快令人难以置信，毕竟就在一年前，我们还在为生成正确数量的手指而苦恼 。 过去几年，开源模型和艺术工具迎来了关键性进展，AI 创意工具的可及性前所未有地提升，而我们可能才刚刚触及冰山一角。一起回顾 2024 年 AI & 艺术领域的重要里程碑、工具和突破，同时展望 ...

RAGFlow 部署方式基于 Docker 部署：前置条件：需要满足一定的硬件配置，如 CPU ≥ 4 核，RAM ≥ 16 GB，Disk ≥ 50 GB，同时安装 Docker ≥ 24.0.0 与 Docker Compose ≥ v2.26.1。操作步骤：首先克隆 RAGFlow 的仓库，进 ...

最近火山引擎推出了自家联网版的DeepSeekR1，并且加入了联网的功能，不用担心DeepSeek本体的服务器繁忙了，可以说直接是DeepSeek本体的替代品。现在注册即送30块体验价（相当于750wtoken）。下面就是教大家如何直接使用火山引擎使用R1和接入CherryStudio作为本地部署， ...

本文介绍了MNN Chat这款由阿里巴巴开源的多模态大模型应用。它支持本地运行，无需依赖外部服务器，确保数据隐私，同时兼容DeepSeek R1、Qwen等主流模型。通过实际测试，MNN Chat在文本生成、图像识别等任务中表现出色，推理速度远超传统方法。无论是车牌识别还是 Stable Diffu... ...

语法 以最简单的向量相加为例, 通过把triton翻译成cuda的形式 @triton.jit #需要加这行标识kernel def add_kernel(x_ptr, y_ptr, output_ptr, n_elements, BLOCK_SIZE: tl.constexpr, ): pid = ...

引言 你有没有想过，为什么 AI 大神们处理日语时，总是会挠头？其实，这都要从“token”这个神奇的小东西说起。 在大型语言模型（LLM）中，token 就是文本的基本处理单位。想象一下，把一段话拆成乐高积木，每个 token 就是一块积木，组合起来才能搭建出精彩的语言大厦。这些 token 可能 ...

DeepSeek是当前AI领域的热门话题，尤其其大模型备受关注。由于网页版访问时常超时，推荐使用阿里云百炼的API调用方式快速体验。此方法仅需五分钟，提供100万免费Token，有效期至2025年7月26日。用户可通过注册阿里云账户、开通服务、创建API-Key、安装并配置ChatBox客户端等步骤... ...

将内容上传至知识库后，要对内容进行分段与数据清洗。该阶段是内容的预处理与数据结构化过程，长文本将会被划分为多个内容分段。 1 分段 由于LLM的上下文窗口有限，无法一次性处理和传输整个知识库的内容，因此需对文档 中的长文本分段为内容块。即便部分大模型已支持上传完整的文档文件，但实验表明，检索效率依然 ...

几个核心概念 张量(tensor):张量表示一个由数值组成的数组，这个数组可能有多个维度 标量(scalar):标量由只有一个元素的张量表示,0阶张量 向量(vector):向量可以被视为标量值组成的列表。 这些标量值被称为向量的元素（element）或分量（component）,1阶张量 矩阵(m ...

1 ollama 1.1 什么是ollama ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型。 1.2 下载ollama （1）直接从ollama官 ...

视频安全能力要求 按照《生成式人工智能服务安全基本要求.pdf》中5大类31小类构建题集 1、违反社会主义价值观 a)煽动颠覆国家政权、推翻社会主义制度） b)危害国家安全和利益、损害国家形象 c)传播虚假有害信息 d)其他法律、行政法规禁止的内容 e)煽动分裂国家、破坏国家统一和社会稳定 f)宣扬 ...

这是可优化的细节。这里过时的提示倾向于说工作空间有一个默认的重新排名模型，但在执行一些前端逻辑后我们发现当前的重新排名模型是空的或未定义的，因此这个当前模型已过时。 但这里默认模型实际上是一个所有字段都是空字符串的模型结构： { "provider":"", "model": "" } 在这种情况下 ...

GRPO （Group Relative Policy Optimization ） GRPO https://arxiv.org/pdf/2402.03300 对于每个question q，GRPO从old policy \(\pi_{old}\) 采样一组输出 \({o_1, o_2 ...,o ...

创建知识库并上传文档大致分为以下步骤： 通过上传本地文件、导入在线数据或创建一个空的知识库。 1 导入文本数据 轻点 Dify 平台顶部导航中 “知识库” → “创建知识库”： 可上传本地文件、导入在线数据两种方式上传文档至知识库内。 1.1 上传本地文件 拖拽或选中文件进行上传，支持批量上传，同时 ...

DeepSeek-R1大模型具备深度思考和推理能力，在数学、代码、自然语言推理等任务上都有着极大的提升。一方面由于官方或第三方的在线服务或多或少存在不稳定的问题，另一方面考虑到数据安全和隐私问题，本地私有化部署DeepSeek开源大模型对个人或企业来说也是一种不错的选择。本文主要介绍完整参数版本 d... ...

一、总体方案 目前在使用 DeepSeek 在线环境时，页面经常显示“服务器繁忙，请稍后再试”，以 DeepSeek R1 现在的火爆程度，这个状况可能还会持续一段时间，所以这里给大家提供了 DeepSeek R1 +RAG 的本地部署方案。最后实现的效果是，结合本地部署的三个开源工具，包括 1Pa ...