懒猫后花园

摘要： 先前 blog [1] 从能耗角度量化了现在计算问题本质是访存问题，同时提到由于算法和工艺的限制优化应当存在一个上限。这篇 blog 将结合具体 AI workload 探讨这个边界。 访存优化归类 各种加速工作优化核心在于将更多的操作放在底层低密度、低代价的 on-chip memory ，以避开 阅读全文

摘要： 虽然早在 1967 年就已经提出了 Tomasulo 调度算法 [1]，但网上仍很少找到关于落到模块粒度的教程文档。从零复现一遍成本太大，因此用画原理图的方式做思想实验，尝试理解 Tomasulo 在电路上如何实现，文章参考《Computer Architecture:A Quantitative 阅读全文

摘要： RTL 设计工程中遇到一种怪象：虽然可用的人手很多，但很难将任务拆分分配下去，导致人力出现紧张。将原因归因于下： RTL 代码可读性差 抛一个仓库让成员从源码中理解难度颇高。往往需要配合辅助的文档以及频繁对接，这极大分散顶层开发架构师的精力； 控制模块耦合性强 组合逻辑比如计算单元易于解耦，控制逻辑 阅读全文

摘要： 无论片内还是片外访存，存储器的访存代价非常大 [1]。因此有非常多的工作放眼在减少 memory access 以提升系统能耗和表现。我将减少访存归类为三种方法： 发掘数据复用。如矩阵乘法中输入某个矩阵的某一行/列要多次复用读入，依次可以读取一次之后利用先前读取的结果，这一类方法依赖于算法的数据复用 阅读全文

摘要： “做硬件，核心不在硬件”，这半年历程得出了这么似乎有违常理的结论。 现有成本体系下的幸存者 工程科学的发展逻辑 做芯片是工程科学，而非纯理论科学。工程科学的发展是由很多人为历史因素导致的。工程就像在庞大的 design space 搜索，做出来的东西并不是发现了某种普适定律，而是投资某条技术路线。我 阅读全文

摘要： Big Picture Reconfigurable: CGRA vs FPGA 从架构来看 CGRA(Coarse-Grained Reconfigurable Architecture) 和 FPGA 非常类似，Memory、PE 以及 NoC 片上网络。调研反馈实际二者边界也是逐渐模糊： 硬件 阅读全文

摘要： CMOS 计算和存储工艺发展步调并不一致，SOTA Memory 最高频率的远远低于 SOTA CMOS。如下图所示[1]： 除了性能，能耗上存储也远远高于计算能耗，存储能耗受诸多譬如大小、宽度等参数影响，但不妨粗略进行数量级估计计算，如图 2014 年 ISSCC 经典的数据 45 nm 0.9V 阅读全文

摘要： 符号推理，简单调研一下 符号 vs 模拟 形式验证和 UVM 验证方法（Functional Verification）本质出发点是不同的，一个基于符号逻辑推理，另一个基于模拟器。 比如有组合电路 A 和组合电路 B，要验证他们逻辑功能一致，即真值表一致。 ⚠️以下内容有猜测部分，待调研工具具体实现 阅读全文

摘要： 冯诺伊曼架构和存算不是对立的概念 从智能角度证明存算架构力度远远不够 存算针对的是存储和计算关系，冯诺依曼架构针对的是程序和数据都要存储，二者重心不一样因此不是对立的概念。 如果按原教旨主义理解冯诺依曼架构，就要追溯到 《First Draft of a Report on the EDVAC[1] 阅读全文

摘要： 很早前看到知乎的这篇回答[1]，技术栈太浅薄不能理解 spatial computing 的核心问题，而今年 groq、tensotorrent、SambaNova 各种新鲜技术范式出现层出不穷，把我的胃口吊得高高的，遂调研 spatial computing。 Dataflow Accelerat 阅读全文