AMD Ryzen AI Max+ 395四机并联：大语言模型集群推理深度测试

本文介绍使用四块Framework主板构建AI推理集群的完整过程，并对其在大语言模型推理任务中的性能表现进行了系统性评估。该集群基于AMD Ryzen AI Max+ 395处理器，采用mini ITX规格设计，可部署在10英寸标准机架中。

Jeff Geerling大佬还开发了名为Beowulf AI Cluster的自动化部署工具集，该工具集基于Ansible平台，可实现在beowulf集群架构上快速部署多种开源AI集群工具，支持CPU、GPU以及混合推理配置。

因为我只关心Max+ 395的性能测试部分（尤其是并行测试部分），所以本篇文章有删改，想看原文的请看最后的Jeff Geerling大佬博客

系统硬件配置

本次评估的硬件配置采用了Framework提供的完整解决方案。每个计算节点包含Framework主板、专用电源模块、Noctua CPU散热器以及1TB WD NVMe固态硬盘。

Framework主板在设计上更接近于单板计算机（SBC）架构，而非传统的插槽式CPU和内存桌面主板设计。该主板采用焊接式APU设计，集成了CPU、NPU（神经处理单元）和iGPU（集成图形处理器）以及系统内存。根据Framework的技术说明，采用焊接式设计而非可更换内存模块（如CAMM标准）的主要原因是为了确保内存时序的精确控制，从而在AI工作负载中实现最优性能表现。

https://avoid.overfit.cn/post/6e2057cb902b4033b3d6cd712f2a8c62