摘要：在机器学习，尤其是深度学习和自然语言处理领域中，temperature 参数通常指的是 softmax 函数或采样策略中的一个控制变量。它影响模型输出的概率分布，进而影响模型生成的输出的随机性和多样性。 在 ollama /api/generate 的 API 接口中，temperature 是一个 阅读全文

摘要：/api/chat 和 /api/generate 这两个API端点的主要区别在于它们的设计目的和处理上下文的方式： /api/generate 用途: 这个端点主要用于生成单个文本片段。它接收输入并返回基于该输入的模型生成的文本，通常不考虑之前的消息历史或对话上下文。 功能: 它可以用于各种生成任 阅读全文

摘要：// 命令行（cmd/cmd.go）以 showCmd 为例。 showCmd // 1.注册自己的 Handler showHandler { // 2.通过使用自己的 GO Client（api/client.go） req := api.ShowRequest{Name: args[0]} r 阅读全文

摘要：LLM（大型语言模型）虽然在处理自然语言理解和生成任务上表现出色，但仍然存在局限性，某些领域和工具因其专业性、实时性、或需要身体操作的特性，难以被 LLM 完全替代。 以下是一些例子： 1. 专业软件和工具：如CAD软件（计算机辅助设计）用于精密工程制图、3D建模；编程IDE（集成开发环境）如Vis 阅读全文

摘要：SOTA (State-of-the-Art) 在深度学习领域，SOTA指的是“当前最高技术水平”或“最佳实践”。它用来形容在特定任务或领域中性能最优的模型或方法。随着研究进展，SOTA会不断被新的研究成果所超越。 非端到端模型 非端到端模型指的是模型架构中包含多个分离的组件或步骤，每个部分可能独立 阅读全文

摘要：1. 向量化。 文本 → Tokenization(分词) → Embeddings(向量化) → 模型 2. 模型需要完整上下文 且 知道 token 的相对位置及关系。 3. 关注 token 的 score。 4. 用输入文本的向量，去查找，得到值向量。 5. 得到上下文感知的向量。 在线拾取 阅读全文

摘要：1 如何更新Ollama？ 在macOS和Windows上，Ollama会自动检查更新。只需点击任务栏或菜单栏图标，然后选择“重启以更新”来应用新版本。 在Linux上，需要重新运行安装脚本来升级。 2 如何查看日志？ 查阅特定的故障排查文档来了解如何查看和使用日志。 3 我的GPU是否兼容Olla 阅读全文

摘要：阅读 Ollama 源代码以了解其内部工作机制、扩展功能或参与贡献。 以下是一些值得重点关注的部分： 1. 核心服务模块： 查找负责启动和管理模型服务的主程序或类，这通常是整个项目的核心逻辑所在。关注如何初始化模型环境、加载模型权重、配置服务器端口和通信协议等关键步骤。 2. 模型加载与推理逻辑： 阅读全文

摘要：GGUF构建ollama模型https://zhuanlan.zhihu.com/p/689555159https://www.cnblogs.com/ghj1976/p/18063781/ollama-yun-xing-gguf-mo-xing 模型怎么量化成GGUF格式https://zhuan 阅读全文

摘要：前奏：Ollama是什么,为什么这么好用 安装必备工具 确保已安装以下软件的正确版本： CMake 3.24 或更高版本 Go 1.22 或更高版本 GCC 11.4.0 或更高版本 使用 Homebrew 安装这些工具（适用于macOS和Linux）： brew install go cmake 阅读全文

摘要：RAG（Retrieval-Augmented Generation）是一种结合检索和生成两种技术的模型，旨在通过检索大规模知识库来增强文本生成任务的准确性。 要通过reranking（重排序）来提升RAG的准确度，可以采取以下策略： 1. 使用更精细的评分函数 RAG通常会在检索阶段根据输入问题或 阅读全文

摘要：Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。 以下是其主要特点和功能概述： 1. 简化部署：Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。 2. 轻量级与可扩展：作为轻量级框架 阅读全文

摘要：提示：如果您尚未完成，请安装 LlamaIndex 并完成起步教程。遇到不熟悉的术语时，请参考高层次概念部分。 在这个章节中，我们将从您为起步示例编写的代码开始，展示您可能希望针对不同应用场景对其进行的常见定制方法： python from llama_index.core import Vecto 阅读全文

摘要：如果您喜欢通过视频学习，现在正是查看我们的“探索 LlamaIndex”系列的好时机。否则，我们建议您继续阅读“理解 LlamaIndex”教程。 自下而上开发（Llama Docs Bot） 这是“探索 LlamaIndex”系列中的一个子系列，向您展示如何从零开始构建文档聊天机器人。 我们将以“ 阅读全文

摘要：提示：确保您已先按照自定义安装步骤操作。 这是一个著名的“五行代码”起步示例，使用本地 LLM（大语言模型）和嵌入模型。我们将使用 BAAI/bge-small-en-v1.5 作为嵌入模型，通过 Ollama 服务的 Mistral-7B 作为 LLM。 下载数据 本示例使用 Paul Graha 阅读全文

摘要：pip install llama-index 这是一个包含以下组件的启动包： llama-index-core llama-index-legacy （暂时包含） llama-index-llms-openai llama-index-embeddings-openai llama-index-p 阅读全文

摘要：LlamaIndex 是一个基于 LLM（大语言模型）的应用程序数据框架，适用于受益于上下文增强的场景。 这类 LLM 系统被称为 RAG（检索增强生成）系统。 LlamaIndex 提供了必要的抽象层，以便更容易地摄取、结构化和访问私有或特定领域的数据，从而安全可靠地将这些数据注入 LLM 中，以 阅读全文

摘要：本篇内容为您快速介绍在构建基于大型语言模型（LLM）的应用程序时会频繁遇到的一些核心概念。 增强检索生成（RAG） LLM 是基于海量数据训练而成，但并未涵盖您的具体数据。增强检索生成（Retrieval-Augmented Generation, RAG）通过将您的数据添加至 LLM 已有的数据集 阅读全文

摘要：Haystack、 LangChain 和 LlamaIndex，以及这些工具是如何让我们轻松地构建 RAG 应用程序的？ 我们将重点关注以下内容： Haystack LangChain LlamaIndex 增强LLM 那么，为什么会有这些工具存在呢？如你所知，ChatGPT和其他LLM是在某个时 阅读全文

摘要：embedding models 是一类机器学习模型，它们的核心功能是将高维、离散的输入数据（如词汇、类别标签、节点或实体）映射到低维、连续的向量空间中。 这些向量（即 embeddings）通常具有丰富的语义信息，并能够捕捉原始数据之间的潜在关系和相似度。以下是对 embedding models 阅读全文