随笔分类 - 大模型AI
摘要:1. 异步编程简介 在IO密集型任务(如网络请求、数据库操作)中,传统的同步代码会阻塞等待,导致CPU空闲。asyncio提供基于事件循环的单线程并发方案:遇到IO等待时自动切换任务,从而大幅提升吞吐量。尤其适合AI服务中需要同时调用多个外部API的场景。 2. 核心概念与基本语法 2.1 定义协程
阅读全文
摘要:大模型本地部署搭建【在线】 一、ollama的下载、安装、配置 ollama是管理和运行所有开源大模型的平台 下载地址:https://ollama.com/download 或github下载:https://github.com/ollama/ollama/releases/tag/v0.5.7
阅读全文
摘要:纯离线部署本地知识库LLM大模型 一、下载离线大模型 下载的网址:https://hf-mirror.com/ deepseek qwen 相关的模型,只建议使用1.5B的,GGUF后缀的模型 推荐下载llama相关模型,同样是GGUF后缀的,自己笔记本电脑推荐下载8B的 二、下载大模型管理平台 L
阅读全文

浙公网安备 33010602011771号