合集-AI管家私有化模型部署8天零基础到精通

大模型应用开发与私有化部署
摘要：学习要求 必须有以下知识储备： Linux基础 Docker&Git Python基础 Http网络通信&Restful API接口规范 web前端基础&前后端分离&FastAPI LLM 基本概念 大型语言模型，基于海量的数据进行学习得到的模型。 大模型技术选型 在线大模型： OpenAI GPT 阅读全文
posted @ 2025-04-11 11:07 凫弥 阅读(1465) 评论(0) 推荐(1)
Milvus简介
摘要：Milvus简介 基本介绍 Milvus（米尔乌斯）是一个高性能、高度可扩展的开源的向量数据库，诞生于2019年，由Zilliz开发并维护，后成为LF AI & Data Foundation的托管项目之一，支持针对 TB 级向量的增删改操作和近实时查询，具有高度灵活、稳定可靠以及高速查询等特点。M 阅读全文
posted @ 2025-04-11 10:08 凫弥 阅读(923) 评论(0) 推荐(1)
机器学习中常用的几种距离度量方法
摘要：常用的距离度量方法 距离度量方法主要用于计算给定问题空间中两个数据之间的差异，即数据集中的特征。 然后可以使用该距离来确定特征之间的相似性， 距离越小特征越相似。 以上分别是欧氏距离、曼哈顿举例、切比雪夫距离、闵可夫斯基距离、余弦距离、哈弗辛距离、汉明距离、杰卡德距离、索伦森-戴斯距离、动态时间规整 阅读全文
posted @ 2025-04-11 11:10 凫弥 阅读(936) 评论(0) 推荐(0)
LLaMa.cpp
摘要：基本介绍 LLaMa.cpp是由开发者 Georgi Gerganov 发起的一个C++编写的轻量级、高性能的CPU/GPU大语言模型推理框架，专为在本地CPU上部署量化模型而设计，它提供了一种在资源有限的设备上对LLM从模型转换、量化到推理的一站式解决方案，让LLM的部署流程变得简单而高效，能够将 阅读全文
posted @ 2025-04-11 11:11 凫弥 阅读(1001) 评论(0) 推荐(1)
tesseract基本使用
摘要：概述 Tesseract，一款由惠普实验室开发由Google维护的开源OCR（Optical Character Recognition , 光学字符识别，文本识别）引擎，用于识别图片中的文字并将其转换为可编辑的文本。Tesseract支持开箱即用，能够将印刷体文字图像转换成可编辑文本，并支持多种语 阅读全文
posted @ 2025-04-15 16:30 凫弥 阅读(947) 评论(0) 推荐(0)
工具：Tavily搜索引擎
摘要：Tavily 官网：https://tavily.com/ 介绍 Tavily是一个为大型语言模型（LLMs）和检索增强生成（RAG）优化的搜索引擎，旨在提供高效、快速且持久的搜索结果。该产品由Tavily团队开发，目标用户是AI开发者、研究人员以及需要实时、准确、有根据的信息的企业。Tavily 阅读全文
posted @ 2025-04-16 14:01 凫弥 阅读(7608) 评论(0) 推荐(0)
工具：vllm推理框架
摘要：vLLM vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，提供易用、快速、便宜的LLM服务，支持绝大多数LLM模型的推理加速，类似Ollama/llama.cpp等大模型框架一样，主要用于模型推理，微调以及部署。 vLLM 是一个Python库，同时也包含预编译的C++和CUDA（1 阅读全文
posted @ 2025-04-16 15:20 凫弥 阅读(1029) 评论(0) 推荐(1)