摘要: 2026 年最流行的 14 个 Agent Eval 框架调研:排名、出处与优缺点 评测工具比 Agent 框架还卷——这篇帮你省掉一周的调研时间。 Agent 框架的卷是明面上的,评测(Eval)赛道的卷是暗地里的:过去一年,几乎所有观测平台都长出了 eval 能力,所有 eval 框架都长出了 阅读全文
posted @ 2026-09-27 22:41 iTech 阅读(67) 评论(0) 推荐(0)
摘要: DeepEval:用 pytest 的姿势评测 AI Agent,六个指标盯住六种失败 Agent 会"选对工具但传错参数",也会"完成任务但绕了十个弯"——每种失败都需要专门的指标。 写完一个 AI Agent,你怎么知道它靠不靠谱?手测几个 case 试试感觉?这不叫评测,这叫抽签。Agent 阅读全文
posted @ 2026-09-27 22:32 iTech 阅读(49) 评论(0) 推荐(0)
摘要: microsoft/ai-agent-evals:把 Agent 评测塞进 CI/CD,改动不达标就别上线 传统软件有单元测试守门,Agent 的"单元测试"长什么样?微软给了一个官方答案。 传统软件的 CI/CD 里,测试是守门员:单测不过、覆盖率不达标,代码就别想合并。但 Agent 应用一直缺 阅读全文
posted @ 2026-09-27 21:32 iTech 阅读(25) 评论(0) 推荐(0)
摘要: Claude Code Action:把 Claude 装进 GitHub,PR 和 Issue 里的全自动工程师 在 PR 里 @ 一下 claude,它读完上下文、给出审查意见、顺手把 bug 修了。 你是否想过:GitHub 的 PR 和 Issue 里如果能直接喊 Claude 来干活会怎样 阅读全文
posted @ 2026-09-27 09:21 iTech 阅读(41) 评论(0) 推荐(0)
摘要: AI 技术日报 - 2026-09-27 Top 10 AI 技术要闻 谷歌 TPU 跑 Kimi 比英伟达 GPU 快 57%,用的还是 DeepSeek 推理框架 推理创业公司 Inferact(vLLM 原班人马)在谷歌 Cloud 合作下,用 16 块 TPU v7 Ironwood 跑 K 阅读全文
posted @ 2026-09-27 09:03 iTech 阅读(56) 评论(0) 推荐(0)