导语
AMD宣布收购专注存内计算(In-Memory Computing)的初创公司Taalas,正式布局下一代AI推理加速技术。存内计算被认为是突破AI算力内存墙的关键路线之一,核心思路是把模型权重直接存储在计算单元里,消除数据搬运开销。本文解析存内计算的技术原理、与Groq等路线的差异,以及对AI芯片格局的影响。
一、AI推理的真正瓶颈:内存墙
很多人以为AI算力瓶颈在计算单元,其实不然。当前大模型推理最大的瓶颈,是内存墙。
简单解释:
大模型推理时,模型权重存储在显存里,计算单元要不断从显存读取权重数据。计算单元速度很快,但显存带宽有限。大量时间和功耗,都消耗在"把数据从内存搬到计算单元"这件事上,而不是计算本身。
模型越大,这个问题越严重。大模型推理本质上是内存带宽密集型任务,不是计算密集型。
这就是存内计算的出发点:既然搬运数据这么贵,那能不能不搬运?直接在内存里完成计算?
二、存内计算的核心原理
存内计算(In-Memory Computing,IMC),顾名思义,就是把计算和存储合二为一。存储单元本身就具备计算能力,数据不需要搬来搬去。
Taalas的技术路线
Taalas主攻的是基于SRAM/Flash的模拟存内计算:
-
模型权重直接以模拟量的形式存储在内存阵列中;
-
输入数据以电压/电流形式送入内存阵列;
-
在内存阵列内部直接完成矩阵乘法等AI核心运算;
-
输出计算结果。
整个过程中,权重数据没有离开存储单元。自然就消除了数据搬运的开销。
核心优势
-
极大降低数据移动带来的功耗与延迟;
-
同样算力下,能效比远高于传统架构;
-
特别适合大模型推理这种内存带宽敏感场景。
三、技术挑战:模拟计算的现实难题
存内计算听起来很美,但工程落地难度极大,核心挑战在模拟计算本身。
1. 精度问题
数字计算是精确的,模拟计算会有噪声、偏差。存内计算做高精度推理有难度。目前更多是用于低精度、量化后的AI推理。
2. 制造工艺挑战
在内存工艺上叠加计算能力,对芯片制造工艺要求极高,良率控制难度大。
3. 通用性不足
存内计算擅长矩阵乘法这类特定运算,但不擅长通用计算。只能做AI加速,不能替代通用GPU。
4. 规模化困难
从实验室原型到量产级芯片,还有很长的工程路要走。目前存内计算更多还在技术验证阶段。
四、横向对比:存内计算 vs Groq数据流架构
同样是做AI推理加速,Taalas和Groq走了完全不同的技术路线。
Groq路线:数字数据流架构
-
纯数字电路,通过精妙的时序调度,让数据在芯片内流水线式流动;
-
优点:精度高、可编程、确定性强;
-
缺点:仍然需要数据移动,只是优化了调度方式。
Taalas路线:模拟存内计算
-
模拟计算,从根源消除数据搬运;
-
优点:能效比极高,理论延迟极低;
-
缺点:精度、通用性、成熟度都有待验证。
简单说:Groq是把现有数字架构做到极致,Taalas是探索全新的计算范式。
五、AMD的战略意图
AMD收购Taalas,有几层战略考量:
-
布局下一代技术:GPU架构的AI加速终会遇到天花板,提前布局存内计算等前沿路线,防范技术代差风险;
-
强化推理优势:AI推理市场越来越大,能效比是核心竞争力。存内计算能显著提升推理能效;
-
补齐技术拼图:AMD有GPU、有CPU、有FPGA,再加上存内计算,形成更完整的AI算力产品矩阵;
-
人才与专利储备:收购初创公司,快速获得核心技术团队与专利布局。
结语
存内计算还不是成熟的量产技术,但它代表了AI芯片的一个重要演进方向。当传统架构越来越接近物理极限,想要继续大幅提升能效比,就必须在计算范式上做突破。AMD的收购,标志着存内计算正式从学术圈走向产业主流。未来的AI算力竞争,会越来越向底层物理和架构创新延伸。
浙公网安备 33010602011771号