后续研究框架梳理

博后的工作即将正式开始，这里对自己接下来几年的工作思路和研究方向进行一个简单的梳理。如下图所示，我将后续的研究方向主要分类为三个层次，从上到下分别为应用层，架构层和电路&EDA层。

应用层是面向具身智能的软硬件协同设计，目前具身这个赛道在技术和投资方面都极其火热，但我个人对具身智能有一些自己的belief。一般来说，对具身的理解会认为本质上是对LLM技术逻辑的重演，只要把数据、计算量、模型参数量给scale起来，也会像LLM那样涌现出强泛化能力的智能，并且使用现有的ai技术去做和物理世界的交互这个事情的可行性已经在自动驾驶场景下得到了落地验证。但我觉得具身智能当前最大的问题是智力水平与可部署性之间的矛盾，LLM这种超大规模模型基本上只能在数据中心上跑，因为其延迟、功耗等都难以控制到可以在边缘端运行的程度，边缘端只能部署一些将大模型发送的任务翻译为动作执行的小规模模型，因此系统架构就只能设计成云端“大脑”+本地“小脑”的模式。这种情况下，系统的端到端延迟由云端推理延迟+网络传输延迟+本地推理延迟构成，根据目前的技术趋势来看，云端推理和网络传输的延迟都很难优化到一个在真实复杂场景中可用的水平。所以我认为具身智能一方面需要在未来的软硬件系统架构上好好再做一些考虑，另一方面则是有必要再好好考虑一下如何设计参数高效的模型。综上所述，我认为具身智能最后有可能需要走出一条和目前的LLM或者自动驾驶完全不同的道路。因此短期内我个人并不打算立马开始做一些专供给VLA或者WAM或者哪路模型的硬件工作，而是按照我自己的理解去做一些对未来的软硬件协同设计工作有益的事情，以及对模型的未来发展方向投入更多的思考。

架构层是以存储为中心的架构设计，实际上就是老朋友存算被我给改了个名字。不过我现在越来越不喜欢claim自己是做存算的了，至少后面不打算像以前那样纠结在电路的事情上。存算这个赛道下有太多发了很多论文后面又被证伪的逻辑，我认为目前可以证实的逻辑只有在LLM decode的场景下，memory bound是一个足够严重到可以为了解决它去做大的架构改动的问题，并且如果能够有效的解决这个问题就能够带来非常大的技术收益。所以不管具体的手段是DRAM-PIM还是SRAM-PIM还是NVM-PIM或者anyway，改变memory的架构从而寻求memory bound问题的解决是必要的，改变传统memory和计算单元之间的边界从而寻求memory bound问题的解决是必要的，我觉得至少这两点是可以确定的逻辑。剩下的问题就是根据各级存储的不同特性去看具体怎么解决，这里又回到一些传统memory hierachy上的经典trade-off问题，即成本、容量和速度的均衡问题。不论何种类型的PIM，其本质做法都是将存储和计算这件两事通过缩小粒度的方式提高耦合度，更小的粒度去trade更大的耦合度，从而收益到更大的带宽和更小的能耗，但代价就是数据layout以及数据transfer的灵活性丧失，可能在软件端造成严重的性能损失。此外存储器本身的访问也会因为集中式拆成分布式面临性能损失，因此需要投入更大的精力在数据调度问题的设计上。这两个问题都在push我重新思考在PIM架构上的算子映射的问题，所以我后续的工作重点就是面向xxx-PIM的架构去解决LLM算子映射的相关问题。

电路+EDA层是AI驱动的IC设计方法学，尽管常规看来电路和EDA应当被分成两个层次，但是我现在越来越强的belief是随着AI+EDA的发展，未来会越来越没有电路设计的事情了。实际上在我博五实习的时候，我就已经开始大量的使用AI作为工作流的驱动器，并且表现良好，但也迫使我思考一个问题，就是AI+EDA的发展是否已经挤压了传统电路设计的生存空间。如果从我目前的角度来看，我会倾向于确实是在挤压，而且是很快速的挤压。传统电路设计很大程度上可以理解成：电路=人的电路专业知识+EDA工具的操作，而目前的AI agent至少在功能上已经可以替代等式后方的两者了，并且AI的电路专业知识水平以及EDA工具的操作熟练度也在不断的提升。因此我开始把电路和EDA放到一个层次去进行理解，在我看来，如何更好的向AI描述需求，对EDA工具进行再设计从而让AI可以更好的使用，以及重构设计流程以提升AI设计电路的质量和稳定性，是下一个阶段更核心的问题。在这些思考的驱动下，我目前的计划是开始做一些AI做end-to-end电路设计的尝试，大致分类为两个方向，一个是传统数字IC的设计流程，以一个中小规模的NPU为设计用例，另一个是传统模拟hard marco的设计流程，以一个标准的SRAM为设计用例，做一些工程上的尝试，探索一下目前AI的设计能力边界，再进一步考虑一下这方面有哪些比较好的research工作是可以做的。

总体上来看，我给自己划定了一个很大的后续的研究的scope，基本上这些东西都需要从头学起，不过在我看来做research就是这样，需要反复的自我突破去找新的前沿问题。也欢迎对这些问题感兴趣的老师、同学、工业界的朋友一起交流&合作。