文章分类 - AI-6大模型
摘要：前言 微调（Fine-Tuning） 是机器学习特别是深度学习领域中的一种技术。它的核心概念是在一个已经训练好的大模型的基础上，通过在特定任务上进行额外的训练来优化模型性能。微调通常用于在已有的大型预训练模型上进行特定领域的任务优化，而不必从头开始训练整个模型，并在具体任务上获得更好的表现。 目录
阅读全文
摘要：前言： 无论是在单机单卡（一台机器上只有一块GPU）还是单机多卡（一台机器上有多块GPU）的硬件配置上启动ChatGLM3-6B模型，其前置环境配置和项目文件是相同的。如果大家对配置过程还不熟悉，建议回看前两节课程内容学习进行初始配置、文件部署和运行；如果跟着上一节课件实践过单机单卡的操作流程，我们
阅读全文
摘要：前言： 随着大模型技术的迅速发展和迭代，模型的功能以及自身架构可能会随着新版本的发布而不断更新。因此，掌握如何及时关注版本变化并进行相应更新，已经成为如今的从业者应具备的重要技能之一。 在更新大模型时，需要重点关注以下几个方面：首先，确保项目文件、依赖的库和模型的权重文件均已更新到最新版本。其次，在
阅读全文
摘要：本节内容介绍的是在AutoDL平台上租赁算⼒资源，并完成ChatGLM3-6B的部署调⽤的流程。根据官⽅介绍，ChatGLM3-6B ⽬前⽀持GPU运⾏（需要英伟达显卡）、CPU运⾏以及Apple M系列芯⽚运⾏。其中GPU运⾏需要⾄少6GB以上显存（4Bit精度运⾏模式下），⽽CPU运⾏则需要⾄少
阅读全文
摘要：在服务器环境下部署大模型时，常常会遇到各种限制，比如无法直接连接外网下载安装模型文件或者因服务器资源限制导致部署复杂化。因此，掌握在这种受限环境中有效下载和部署大模型的技巧显得尤为重要。本节将介绍一种在远程服务器环境中合理下载大模型文件的方法，以及几种不同的启动方式。通过这些内容，供大家掌握一个可行
阅读全文
摘要：大模型的部署整体而言并不复杂，官方通常会提供标准的部署流程。然而，许多人在实际部署过程中会遇到各种问题，导致部署难以成功。主要原因在于这个过程中涉及到大量依赖库的安装和更新，以及需要根据本地环境的安装情况及时调整代码逻辑。此外，部署还对硬件有一定的要求，因此整体而言，部署和使用仍然存在一定门槛。为此
阅读全文
摘要：1. 大模型参数介绍 当你第一次了解一些开源大模型的时候，往往会困惑于模型琳琅满目的开源版本，不知道自己应该如何选择合适的模型，这些模型的差异又是什么？以下是大模型的相关参数介绍以供为大家解答这方面的疑惑。 1.1.1 模型参数单位 在浏览模型信息的时候常常会看到类似："6b"、"13b"、"70b
阅读全文
摘要：Ubuntu是一款基于Linux内核的开源操作系统，它由Canonical Ltd.公司开发并维护。Ubuntu的目标是为全球用户提供一个简单易用、免费开源的操作系统。Ubuntu的名称来自非洲祖鲁语，意为“人性对人性的贡献”。多数人觉得Linux难，其中的原因之一就是难于安装，但Ubuntu提供了
阅读全文
摘要：环境准备 1.下载ollama平台ollama是一个用于本地运行和管理大语言模型(LLM)的工具。通过olama将DeepSeek模型下载到本地运行; 参照Dify 环境变量配置 由于RAGFlow是通过Docker部署的（在虚拟机里），而Ollama 是运行在本地电脑的，得让RAGFlow能访问O
阅读全文
摘要：一、Dify的介绍 https://dify.ai/ Dify 是一款创新的智能生活助手应用，旨在为您提供便捷、高效的服务。通过人工智能技术，Dify 可以实现语音助手、智能家居控制、日程管理等功能，助您轻松应对生活琐事，享受智慧生活。简约的界面设计，让操作更加便捷；丰富的应用场景，满足您多样化的需
阅读全文
摘要：💡 这节课会带给你 如何用你的垂域数据补充 LLM 的能力 如何构建你的垂域（向量）知识库 搭建一套完整 RAG 系统需要哪些模块 搭建 RAG 系统时更多的有用技巧 如何提升 RAG 检索的效果及优化实践 学习目标： RAG 技术概述 RAG WorkFlow 及 RAG 工程化 基于 Llam
阅读全文
摘要：https://www.promptingguide.ai/zh 前置了解 大语言模型到底能做什么？ 刨根问底：大语言模型的训练目标 大语言模型的训练目标是让模型尽可能准确地预测下一个词，从而生成生成自然、连贯的文本。同时，大语言模型的训练目标实质上也是在构建一个高度压缩的世界知识库。通过海量文本数
阅读全文
摘要：一、Agent的介绍 LLM VS Agent 两者的介绍： LLM：大型语言模型是一种基于深度学习的模型，专注于理解和生成自然语言文本。它的主要目的是处理与语言相关的任务，如文本生成、翻译、问答等。 Agent：人工智能代理是一个更广泛的概念，它指的是能够在特定环境中自主行动以实现目标的程序。AI
阅读全文
摘要：新闻分类数据集介绍 新闻分类是一种经典的自然语言处理任务。通常需要对新闻文本进行分类，将其归入不同的类别。 加载 Hugging Face 的新闻分类数据集 我们可以使用 Hugging Face 的 datasets 库来加载新闻分类数据集，如 THucNews。这是一个中文新闻分类数据集，适合用
阅读全文
摘要：模型微调的基本概念与流程 微调是指在预训练模型的基础上，通过进一步的训练来适应特定的下游任务。BERT 模型通过预训练来学习语言的通用模式，然后通过微调来适应特定任务，如情感分析、命名实体识别等。微调过程中，通常冻结 BERT 的预训练层，只训练与下游任务相关的层。本课件将介绍如何使用 BERT 模
阅读全文
摘要：RAG是什么 面试中常问的问题:目前大模型存在什么样的的缺点和解决办法，然后会聊到偏见，幻觉，过时这三个缺点，这时你就必须了解RAG检索增强生成。 检索增强生成是一种使用外部知识源来提高生成式人工智能或大型语言模型准确性和可靠性的技术。具体来说，当需要生成一个回答时，RAG会首先利用一个知识库来获取
阅读全文
摘要：认知：将来我们做的大部分是AI应用开发，也就是基于别人训练好的模型做应用，而非AI模型（炼丹师）开发。为什么叫AI模型开发叫炼丹师，因为模型训练时，需要多少“层”，各种超参数只能靠大量的尝试，充满了不确定性。 大模型为什么叫大模型，其中一个大的体现就是参数非常大，一般大模型的参数都是10亿起步，比如
阅读全文
摘要：1.Huggingface 的简介 Huggingface 即是网站名也是其公司名，随着 transformer 浪潮，Huggingface 逐步收纳了众多最前沿的模型和数据集等有趣的工作，与 transformers 库结合，可以快速使用学习这些模型。目前提到 NLP 必然绕不开 Hugging
阅读全文
摘要：大模型微调技术快速入门 微调基础概念介绍 微调基本概念 所谓大模型微调，指的在已有的大规模预训练模型基础上，通过对标注数据进行训练，进一步优化模型的表现，以适应特定任务或场景的需求。不同于RAG或者Agent技术，通过搭建工作流来优化模型表现，微调是通过修改模型参数来优化模型能力，是一种能够让模型“
阅读全文
浙公网安备 33010602011771号