AI人工智能学习——AI赋能系统

AI大模型通过低代码或无代码反向优化赋能系统;

ARM定制化硅芯片提高计算效率、降低功耗;

AI数据中心定义一台计算机,算力逻辑区区分,前期计算虚拟化区分(openstack);

AI模型更偏向于训练,无法做到算力切分,功能化独立,封闭环境业务推理和分析;

异构计算:商业服务计算涉及CPU、Memory、网络等,GPU与CPU协同工作;

异构计算分类:CPU、DPU、GPU分类,按功能不同分类进行并行协同工作;

异构分享:数据处理、控制逻辑、后续处理、串行处理,APU结合CPU和GPU,负载缓存通过共享存储和共享缓存存放,通过AI大模型自动分配计算到GPU或CPU上;AI自动化选择动态函数,稀疏并权重选择合适的计算资源,可以提高计算能效;

例:大模型集合通讯radius和ALLradius在网络上提升效率;

  AI需求无限大网络带宽,网络单元上运行计算可以提升50%;

  TCO通过不同的AI性能加速卡,倡导CPU和GPU、CPU和DPU的协作;

龙蜥生态如何通过AI生态更好的支持?

GPU和CPU的选择:AI算法需求;

存储和计算线性复杂度,无关训练长度,存储token和语言token一样,需要共同协同;

开发软硬件生态长期重点关注的;

语言模型:GPU处理计算;

大量异构计算:4卡、8卡左边提升,GPU+CPU作为最小单元相结合,跨机器内存统一编制;

结尾:

龙蜥社区生态建设通过开放性,国际化,社区开源数据局;硬件和软件结合,寄存器高速提升,反向提高软件处理性能;硬件是底座,期待AI实现零码,融合更多的业务需求,实现高效赋能;

 

posted on 2024-12-10 09:18  gkhost  阅读(49)  评论(0)    收藏  举报

导航