07 2023 档案

摘要：最近给领导汇报研发捣鼓的AI编译器，里面有一个东西很吊炸天，研发天天说自己搞了个自研很牛逼的IR。我给领导一汇报，就被领导刁飞了，IR、IR，IR有啥用，能节约我的研发成本吗？IR能解决啥问题？我真的想知道，AI编译器中的IR是什么？ 阅读全文

摘要：目前主流的深度学习框架都选择使用计算图来抽象神经网络计算表达，通过通用的数据结构（张量）来理解、表达和执行神经网络模型，通过计算图可以把 AI 系统化的问题形象地表示出来。 本节将会以AI概念落地的时候，遇到的一些问题与挑战，因此引出了计算图的概念来对神经网络模型进行统一抽象。接着展开什么是计算，计算图的基本构成来深入了解诶计算图。最后简单地学习PyTorch如何表达计算图。 阅读全文

摘要：我给领导汇报AI框架用函数式编程好，没讲明白，说函数式就是写函数那样方便，都被领导吊飞了，啥玩意，写啥不是写函数，狗屁不通！网上搜说用tensorflow那就是用声明式编程，用pytorch就是命令式编程。有兄弟能讲清楚，AI框架的编程范式到底如何区分？AI框架中的不同编程范式有什么作用吗？ 阅读全文

摘要：都2023年，才来回答这个问题，自然毫无悬念地选择PyTorch，TensorFlow在大模型这一波浪潮中没有起死回生，有点惋惜，现在GLM、GPT、LLaMA等各种大模型都是基于PyTorch框架构建。这个事情已经水落石出。 不过呢，我觉得可以一起去回顾下，在AI框架发展的过程中，都沉陷了哪些技术点，为什么一开始这么多人在纠结到底用哪个框架。 阅读全文

摘要：最近一个月朋友老来挑战我：“什么才是AI框架？”，于是趁着夜深人静的时候，真正地去梳理什么是AI框架，下面是我对AI框架的一些思考。 到底什么是AI算法？什么是神经网络？神经网络有什么用？为什么神经网络需要训练？什么是模型？AI框架有什么用？AI框架能解决什么问题？ 上面的几个问题其实还挺有挑战的。 阅读全文