ollama(llama.cpp) 编译出的 LLM runners: cpu, cpu_avx, cpu_avx2

 

在软件开发和编译过程中，cpu, cpu_avx, cpu_avx2 这些术语通常指的是针对不同CPU指令集优化的代码版本。

这些术语与编译时选择的优化选项有关，特别是当涉及到向量处理和并行计算时。

下面是它们的大致含义：

1. cpu

   • 这个术语通常指的是没有特别优化的通用代码路径，它可能使用了标准的 x86 或 x86_64 指令集，而不依赖于任何特定的高级向量扩展指令集如 AVX 或 AVX2。这种代码可以在任何支持基本 x86 指令集的处理器上运行，但可能无法利用现代CPU的高级特性。

2. cpu_avx

   • 当提到 cpu_avx 时，这通常是指代码已经针对 AVX (Advanced Vector Extensions) 指令集进行了优化。AVX 是 Intel 和 AMD 在 x86 架构中引入的一组向量处理指令，它提供了更宽的向量寄存器（256 位宽），从而能够同时处理更多的数据元素，提高了浮点运算的吞吐量。

3. cpu_avx2

   • cpu_avx2 则表示代码进一步针对 AVX2 指令集进行了优化。AVX2 是 AVX 的升级版，同样使用 256 位宽的向量寄存器，但它增加了更多类型的指令，比如整数运算的支持，并且改进了向量加载和存储的灵活性。AVX2 指令集在 Intel 的 Haswell 架构及后续的处理器中得到支持，以及 AMD 的 Zen 架构及之后的处理器。

 

在编译时，如果知道目标机器支持这些高级指令集，编译器可以选择启用相应的优化标志，例如使用 -mavx 或 -mavx2，来生成利用这些指令集的代码。

这样做可以显著提高某些计算密集型任务的性能，如图像处理、科学计算、机器学习等领域中的应用。

然而，如果目标 CPU 不支持这些指令集，尝试运行优化后的代码可能会导致运行时错误。

因此，在实际部署时，需要确保编译的代码与目标硬件相匹配。

 

• 在线 IPFS 存储
• 以太 ETH 单位转换器
• 以太坊地址转换
• 图片提取文字

Link：https://www.cnblogs.com/farwish/p/18297431