5.31

“想要了解更多或试用这些版本,只需访问ai.nvidia.com。今天,我们在Hugging Face上发布了完全优化的Llama 3 Nim,你可以立即体验,甚至免费带走它。无论你选择哪个云平台,都能轻松运行它。当然,你也可以将这个容器下载到你的数据中心,自行托管,并为你的客户提供服务。”他表示。

目前,近200家技术合作伙伴,包括Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI和Synopsys等,正在将NIM集成到他们的平台中。

此外,英伟达还推出了RTX AI Toolkit,一个工具和SDK集合,帮助Windows开发者定制优化本地部署模型。同Mac相比,部署了RTX的Windows的Stable Diffusion推理速度是Mac的7倍。

posted @ 2024-06-05 08:53  SDGVSBGDRH  阅读(26)  评论(0)    收藏  举报