刷新
大模型核心参数详解:从基础配置到高级调优指南

博主头像 引言:参数调优的重要性 在大语言模型的应用中,仅仅提供一个好的提示词往往不足以获得理想的输出结果。模型参数的合理配置同样至关重要,它如同给模型调配合适的“工作性格”,直接影响生成文本的质量、风格和适用场景。本文将系统介绍大模型的各类关键参数,帮助你从被动使用者转变为精准调控专家。 一、模型基础结构参 ...

使用vLLM实测3090和4090的大模型推理性能

博主头像 使用`vLLM`测试下大模型并发推理场景下3090和4090两张显卡的性能表现,看下4090是否在高并发场景下具备更高的扩展性。 3090显卡和4090显卡在模型推理过程中的显存和GPU使用率都比较接近,1~8并发度场景下,3090和4090的推理性能均保持稳定;在16并发度下3090开始遇到性能瓶... ...

网络图片下载+VideCoding+DeepSeekOCR解析实践

博主头像 背景 某高校师资网站全面采用网络图片展示,网站是禁止右键使用下载,也不允许复制信息。我们试图采集这些信息,使用目前智能体任务+VibeCoding+Deepsee-OCR解析来突破这个问题。流程拆解第一步 html解析智能体我们方便选择space.coze.cn, 可以自行部署其他开源智能体框架解析 ...

谷歌Agent Development Kit架构概览

博主头像 宝子们,今天这个消息真的让我惊呆了!Google搞了个大动作,直接把AI的交互方式给改写了!以前AI都是等你把话说完才回应,现在不一样了,它能一边听你说话一边反应,还能被中途打断,甚至能和其他AI实时协作!这就是谷歌新出的Agent Development Kit(ADK),异步I/O、状态化会话、 ...

关于AI上下文工程重塑人机协作的 5 个颠覆性认知

博主头像 关于AI上下文工程重塑人机协作的 5 个颠覆性认知 宝子们,AI界的大瓜来了!GAIR团队刚发布了Context Engineering 2.0,这可完全颠覆了我们对人机交互的认知。以前我们总想着怎么设计prompt,现在才发现,context才是关键! “一个人就是各种context的集合。”机器 ...

AI时代的知识管理秘籍,吴恩达的RAG课必学

博主头像 家人们,今天来给大家安利一个超宝藏的课程!吴恩达老师的《RAG原理》课程,就在他的AI学习平台上。虽然很多人只是用AI工具,但RAG真的太重要了,原理必须搞懂!就像我们用Google,但懂它怎么工作的,才能用得更溜。这个课程免费,每天一课,五天就能听完,超低投入。学完之后,自己做AI时代的个人知识管 ...

治愈的极简风大片by NanoBanana

博主头像 原始产出整个场景在一个干净柔软的米色工作室,模特穿着轻薄的深海军蓝衬衫和象牙色长裤,赤脚出镜,超有原始简约感。灯光是大柔光主光源在右前方,左边有银色反光板,头顶还有微微的轮廓光,光影超绝! 1️⃣ 极近距离拍嘴唇和颧骨,手模糊地遮住一部分脸(85mm,f/1.8,超浅景深); 2️⃣ 紧凑地拍眼睛, ...

美团多智能体WOWService智能系统概要

博主头像 我们都曾被“人工智障”客服惹恼过 相信很多人都有过这样的经历:满怀希望地向在线客服求助,结果却遇到一个只会重复“您的问题我无法理解”或提供牛头不对马嘴答案的聊天机器人。这种僵化、毫无帮助的“智能交互系统”不仅没能解决问题,反而让人更加恼火,它们也因此被戏称为“人工智障”。对企业而言,打造一个真正能够 ...

如何构建和训练世界级LLM

博主头像 背景 如今,几乎人人都在谈论训练大型语言模型(LLM)。然而,在这股热潮背后,是普通人难以想象的复杂挑战和“凌乱的现实”。研究论文总是将结果描绘得光鲜亮丽,仿佛每一个决策都显而易见。但它们从未提及凌晨两点调试数据加载器的挣扎、损失曲线的神秘飙升,或是那些悄悄破坏你整个训练过程的隐蔽Bug。最近,Hu ...

3080 20G和3090在大模型推理场景的性能比较

博主头像 使用Ollama部署Qwen3模型进行推理场景的性能实测,比较3080 20G和3090 24G的差异到底多大? RTX 3080 20G显卡是基于3080 10G魔改的卡,目前市面比较多得被用于小规模参数的大语言模型推理场景,被认为是性价比比3090还高的推理显卡。 对比显卡参数,3080 20G... ...

《AI工程》书介绍

博主头像 AI工程宝典,搞懂大模型应用的秘籍宝子们,今天来给大家安利一本超实用的AI工程书!这可不是那种花里胡哨的工具书,而是从根基上帮你搞懂大语言模型(LLMs)和大多模态模型(LMMs)在具体应用中的适配框架。从搭建AI应用的各种方案,到评估应用的优劣,甚至还能用AI来评估AI输出,这本书统统给你答案。比 ...

Cursor 2.0与Composer发布

博主头像 Cursor 2.0与Composer发布首先,Cursor2.0支持多智能体并行运行,最多可以同时运行八个智能体,再也不用担心文件冲突了。而且每个智能体都在自己独立的代码副本中运行,超安心!它的核心是全新的 Composer 编程模型,速度比同等级的模型快了整整四倍,简直是效率的飞跃!Compos ...

斯坦福大模型课CS336,硬核到让人怀疑人生?

博主头像 斯坦福CS336从头开始构建大模型 家人们,最近斯坦福的CS336课程火了,但好多同学却直呼“跟不上”“太硬核”!这门课的目标是引导学生从零开始开发自己的语言模型,听起来是不是就很厉害?它借鉴了操作系统课程的理念,让学生体验从数据收集、模型构建到训练评估的全过程。课程分5个单元、19门课,涵盖从To ...

AI辅助渗透测试小试牛刀

博主头像 传统的自动化渗透测试工具在过去几十年中已成为安全评估的标准组成部分。然而,这些工具的效能主要局限于已知漏洞的广泛扫描和配置检查,其内在的局限性也日益凸显。传统自动化工具本质上是确定性的,依赖于静态签名库和预定义的规则集来识别漏洞 。这种方法在面对需要上下文理解、创造性思维或业务逻辑分析的复杂场景时显 ...

手机AI“造反”了?你可能还不知道的四件大事儿

博主头像 哎,自打ChatGPT火了以后,咱们是不是都觉得云上的AI特牛?啥都能聊,啥都懂。但说实话,你用着不烦吗?网一卡就“正在连接”,老担心自己的聊天记录被泄露,而且没网就彻底抓瞎。不过你可能没注意,现在有场“革命”正悄悄发生——就是把特牛的AI,直接塞进你的手机里!这可不光是为了解决卡顿和隐私问题,它带 ...

AI在产品经理工作中的整合与应用解析

博主头像 导言:AI,现代企业的新核心协作者 人工智能(AI)正在经历一场深刻的范式转变,从过去执行特定任务的外围工具,演变为深度集成于业务流程、与人类原生协作的核心伙伴。本报告旨在深度剖析这一转型,将所提供的图表视为一张战略蓝图,该蓝图描绘了AI在六个关键业务职能中的应用与价值。本报告的核心论点是,现代AI ...

个人 Windows 电脑本地部署运行 DeepSeek 大模型

博主头像 1、大模型管理器 1.1、下载ollama 官网下载地址:https://ollama.com/download 如上图所示,下载 Windows 操作系统版本的 ollama 安装包。 1.2、安装ollama 如上图所示,以“管理员身份运行”安装包。 如上图所示,允许安装包对设备进行更改。 如上 ...

<1···789···27>