摘要: 一分钟看完:文中给出单卡 vs 四卡全量数据、四个反直觉的发现(切层不是 4 倍速、并发收益有条公式)、40 多次重启的调参弯路(一半候选被否),以及能力与稳定性验证;最后一场对手戏——同样的四张卡换成 vLLM 跑 27B:单看 Decode 它快 2.5–3.5 倍,但用户"首字 + 出完"的总 阅读全文
posted @ 2026-11-02 08:17 AiFly 阅读(77) 评论(0) 推荐(0)
摘要: 先看结果 结论:125B 总参数(IQ3_XXS 量化后 76 GB 权重)的 MoE 模型,240K 上下文可用,短/96K 单流 155 tok/s;但 3 槽配置下第 4 个人开始排队。 使用 Strata 推理引擎,模型是 Qwen3.8-Flash-Next 的 IQ3_XXS 量化版:1 阅读全文
posted @ 2026-11-01 13:31 AiFly 阅读(296) 评论(0) 推荐(0)
摘要: 摘要:它不生成一个字,只返回校准过的概率,单次判断约万分之一元。我让它给大模型当门卫、评审员、质检员,把 Agent 的决策成本打了两个数量级——数字全部实测。 先认识主角:Jev,TypeSafe 九月发布的模型,走了一条没人挤的反路——一个字都不写。它没有聊天窗口、不逐字生成:你给它一个状态,加 阅读全文
posted @ 2026-10-02 16:43 AiFly 阅读(63) 评论(0) 推荐(0)
摘要: 小米刚刚正式发布并开源 MiMo-V2.6——发布稿里的数字($262 万 / $85 万训练成本、各 30 步、DeepSWE 58.4 → 72.57),与我们的记录分毫不差。因为在发布之前,小米把这次 RL 训练做成了实时公开的看板,我们以约每小时一次的频率围观了 70 个小时:近 60 轮检 阅读全文
posted @ 2026-09-22 08:20 AiFly 阅读(67) 评论(0) 推荐(0)
摘要: 消费级显卡能不能稳稳接住 27B 的生产流量?我们把升级 vLLM、开投机解码、双实例拓扑、1 亿 Token 产能全部实测了一遍。 BF16 权重 55.6GB,一张卡装不下;AWQ 量化后又担心"智力掉分"。本文在单机 4×RTX 4090 上完成了一次全维度实测:升级 vLLM 0.25→0. 阅读全文
posted @ 2026-09-20 08:24 AiFly 阅读(181) 评论(0) 推荐(0)
摘要: 一台 4×RTX 4090 上的 vLLM + Qwen3.8-27B-AWQ,从首 token 延迟到大海捞针,一次聊透。 局域网里新起了一台推理服务器。与其看跑分,不如直接按在地上测一遍:性能压到 128 路并发、智商做一套带陷阱的题、256K 上下文真塞满试试。以下是一个下午的完整"体检报告" 阅读全文
posted @ 2026-08-17 08:18 AiFly 阅读(645) 评论(0) 推荐(0)
摘要: 最近圈子里大家都在疯狂折腾 “Vibe Coding”,不管是用 Claude Code 还是在本地部署 OpenClaw 搞多智能体工作区,最终目的都是想让 AI 们自己打配合,把整个开发流水线或者业务闭环跑通。 但现实往往很骨感。当你满怀期待地看着几个 AI 开始“开会”时,经常会遇到让人高血压 阅读全文
posted @ 2026-07-06 19:08 AiFly 阅读(321) 评论(0) 推荐(0)
摘要: Dynamic Workflow(动态工作流) 是 Claude Code 提供的一种脚本化多 Agent 编排机制。它允许你用纯 JavaScript 编写一个工作流脚本,定义 Agent 之间的执行顺序、数据传递和控制逻辑,然后由运行时在后台自动执行,同时你的会话保持响应。但工作流成本很高,跑一 阅读全文
posted @ 2026-06-01 08:14 AiFly 阅读(1656) 评论(0) 推荐(0)
摘要: Agent 开发的几乎都绕不开一个念头:智能体能不能越用越聪明?具体来说,能不能做到: 把做过的事自己沉淀下来 用户下次不用再把同一套流程教一遍 Hermes 对这个问题的处理没有往玄学上飘,也没吹嘘自己在后台偷偷训练新模型。它做得很朴素,也很工程化:每当 Agent 在任务里摸索出一套可以复用的做 阅读全文
posted @ 2026-05-07 11:32 AiFly 阅读(345) 评论(0) 推荐(0)
摘要: Hermes Agent 源码中,有个地方很难忽略:源码中同时存在两套 Agent Loop。一是 run_agent.py 里的 AIAgent,另一个是 agent_loop.py 里的 HermesAgentLoop。前者代码体量很大,后者明显轻得多。 深入分析源码就会发现两套 Loop 确实 阅读全文
posted @ 2026-05-03 23:32 AiFly 阅读(216) 评论(0) 推荐(0)
摘要: 随着大模型的飞快发展 AI 接入、自动化接入、工具接入非常流行,但一旦问题落到“真实设备能力怎么进入系统”时,情况就变得复杂。 摄像头怎么接?截图怎么做?通知、照片、位置这些能力如何统一暴露?更重要的是,这些能力不是在本地脚本里临时调用一下,而是要进入一个可连接、可调度、可鉴权、可回传结果的系统里。 阅读全文
posted @ 2026-04-01 08:15 AiFly 阅读(216) 评论(0) 推荐(0)
摘要: 目前关于 OpenClaw,大家讨论最多的是工作流和 Skills 怎么写。但对于开发者来说,它还有一个非常实用的工程价值——节点(Node)服务。它解决了一个很痛点的问题:怎么优雅地让云端的 Agent 安全、稳定地调用你本地电脑或手机上的硬件能力。 大模型的理解能力越来越强,但还是会出现:“好的 阅读全文
posted @ 2026-03-23 07:59 AiFly 阅读(466) 评论(0) 推荐(0)
摘要: 在构建复杂的 AI Workflow 时,依赖单一的大模型或单一的 Agent,通常难以兼顾不同领域的专业性。上下文一长,AI 就容易“失忆”或“越界”。 趋势必然是多 Agent 协同作业(Multi-Agent)——让负责调度的“老板”、负责写代码的“技术专家”和负责搜集信息的“情报员”各司其职 阅读全文
posted @ 2026-03-10 08:13 AiFly 阅读(3465) 评论(0) 推荐(0)
摘要: 默认情况下添加飞书频道绑定一个机器人之后,这时每个机器人对应的是一个Agent。你将该机器人拉到不同的群中他对应的也只是同一个机器人,在OpenClaw端背后对应着同一个Agent。 单机器人多群聊多Agent:配置多个群聊对应单机器人多个不同Agent,每个Agent之间数据隔离、模型可以不一样, 阅读全文
posted @ 2026-03-09 08:22 AiFly 阅读(13648) 评论(0) 推荐(0)
摘要: 上篇文章介绍了Vibe Coding编程的基本流程与使用,本篇主要关于如何Vibe Coding对产品进行升级,通过对 NewsFlow 这个新闻聚合应用进行升级来连接AI工具的使用。 要实现 UX 升级、RSS 集成、智能搜索、视觉创新四大模块,按传统开发节奏至少需要一个月。这次全程使用 Clau 阅读全文
posted @ 2026-02-17 09:50 AiFly 阅读(827) 评论(0) 推荐(0)
摘要: 传统产品开发流程是比较繁琐的,光需求调研就要花不少时间,更别说后面的技术选型、架构设计、代码实现、测试调试、部署运维——每个环节都有大量工作要做。 AI 编程不是简单地理解为 AI 替我们"写完了所有代码",而是有整套 AI-Native 工作流:以 Claude Code 这类工具为执行引擎,以 阅读全文
posted @ 2026-02-16 08:12 AiFly 阅读(334) 评论(0) 推荐(0)
摘要: 2025年,Agent相关的概念、协议与标准层出不穷。从年初的 MCP,再到 A2A、A2UI 等,围绕着 Agent 相关而推出的各种标准。随着Agent生态的完善,Agent的门槛可用程度也越来越高。 Agent也从最开始的使用特定提示词、工具调用到基于MCP、基于工作流、A2A形式的,再到目前 阅读全文
posted @ 2026-01-19 08:34 AiFly 阅读(1023) 评论(0) 推荐(0)
摘要: 对于个人或小公司有部署使用本地大模型的需求,但由于业务需求直接部署一个开源的通用大模型又不满足需求。这时常见的解决方案是使用RAG方案或微调模型方案。微调是使用领域知识训练模型,使模型其具备相应的领域知识能力。微调后模型可独立生成相应的领域知识,无需再通过RAG方案问答时通过上下文提供对应的领域知识 阅读全文
posted @ 2025-12-18 08:37 AiFly 阅读(356) 评论(0) 推荐(0)
摘要: 现在无论是数码产品手机、电脑、CPU、GPU等或是大模型跑分是一个永恒不变的流程,虽然现在不少厂商针对跑分进行了专门的“优化”,但跑分目前还是相对客观评价一个硬件产品或是软件产品的手段。 不服? 来跑个分。 跑分的专业术语是评测、评估。大模型评估对通用大模型很重要,对垂直模型一样很重要,一个垂直模型 阅读全文
posted @ 2025-11-10 08:31 AiFly 阅读(371) 评论(0) 推荐(0)
摘要: 深度研究是各大AI平台都比较比较常见的智能体,无论是国外的OpenAI、Google或是国内的Kimi、阿里等都提供了此功能。只需要通过输入想要研究探索的主题该智能体就会自动通过网络检索、调用工具等抓取与用户关心的该主题的相关内容,然后输出该主题的报告/文章。 对于DeepResearch这种比较常 阅读全文
posted @ 2025-11-10 08:31 AiFly 阅读(120) 评论(0) 推荐(0)