2025年6月12日

ollama安装linux版本

摘要： cuda 是英伟达推出的一种并行计算平台和编程模型它允许开发者利用英伟达gpu（图形处理单元）的强大计算能力来加速计算密集型任务，而不是仅仅用于图形渲染注意：让原本cpu计算的任务，被cuda转换为gpu显卡计算的任务显卡并行计算能力远高于cpu，所以可以加速计算性能 linux安装ollama- 阅读全文

posted @ 2025-06-12 15:00 桥泰阅读(294) 评论(0) 推荐(0)

WSL

摘要： WSL：在win10 可以非常轻量化的方式，得到linux系统环境，逐步抛弃虚拟机的方式获取linux系统环境windows系统为主，linux为辅阅读全文

posted @ 2025-06-12 09:57 桥泰阅读(19) 评论(0) 推荐(0)

WSL简介

摘要： WSL：在win10 可以非常轻量化的方式，得到linux系统环境，逐步抛弃虚拟机的方式获取linux系统环境windows系统为主，linux为辅阅读全文

posted @ 2025-06-12 09:29 桥泰阅读(13) 评论(0) 推荐(0)

大模型ui框架

摘要： ‌1、Cherry Studio‌ 是一款跨平台的AI工具客户端，支持多模型服务集成与本地化功能2、Chatbox 是一款基于openai api的开源ai工具3、 streamlit 阅读全文

posted @ 2025-06-12 09:16 桥泰阅读(30) 评论(0) 推荐(0)

ollama介绍

摘要： ollama：是一个简化大型语言模型本地部署和运行过程的开源软件ollama:提供了一个轻量级、易于扩展的框架，让开发者能够在本地机器轻松构建和管理LLMs(大语言模型)，通过ollama，开发者可以导入和定制自己的模型，无需关注复杂的底层实现细节。网址：https://ollama.comolla 阅读全文

posted @ 2025-06-12 08:09 桥泰阅读(94) 评论(0) 推荐(0)

大模型部署示意图

摘要：模型是个普通文件，要运行起来必须要托管起来（比如使用Ollama），这样模型就能运行起来阅读全文

posted @ 2025-06-12 07:58 桥泰阅读(17) 评论(0) 推荐(0)

2025年6月11日

大模型的实现原理简单归纳、各种术语的总结

摘要：学会说话：利用深度神经网络来训练语言模型，先收集尽可能多的文本，每次随机收取一段上文，让模型学会接着往下背诵理解意图：理解用户的需求是什么，通过训练，让大模型可以准确的识别用户的意图，并基于“给上文，补下文” 反馈择优：模型生成多个不同的回答。对不同回答排序，采用强化学习算法进一步调整模型，使输出阅读全文

posted @ 2025-06-11 21:45 桥泰阅读(25) 评论(0) 推荐(0)

大模型简介

摘要：大模型：一种基于深度学习技术训练出来的人工智能系统，主要用于处理和生成人类语音模型规模：通常包含数十亿到数千亿个参数，这些参数就像是模型的“大脑神经元”训练数据：使用海量文本数据进行训练，包括书籍、文章、网页等各种形式的文字内容大模型工作原理：通过学习大量文本，掌握了语音的规律和知识，然后根据输入的阅读全文

posted @ 2025-06-11 21:31 桥泰阅读(6) 评论(0) 推荐(0)

DegradeSlot 降级插槽

摘要：新增降级规则熔断时长：open状态持续时长 DegradeSlot com.alibaba.csp.sentinel.slots.block.degrade.DegradeSlot#performChecking 慢调用 ResponseTimeCircuitBreaker 异常调用 Except 阅读全文

posted @ 2025-06-11 20:21 桥泰阅读(7) 评论(0) 推荐(0)

FlowSlot 漏桶算法

摘要： WarmUpController 是QPS动态变化，一开始把qps限制低一点，后面再慢慢把qps限制高一点 RateLimiterController :排队等待模式，基于漏桶算法固定速率的放行 com.alibaba.csp.sentinel.slots.block.flow.controlle 阅读全文

posted @ 2025-06-11 18:28 桥泰阅读(8) 评论(0) 推荐(0)

导航

2025年6月12日

2025年6月11日