懒猫后花园

摘要： CMOS 计算和存储工艺发展步调并不一致，SOTA Memory 最高频率的远远低于 SOTA CMOS。如下图所示[1]： 除了性能，能耗上存储也远远高于计算能耗，存储能耗受诸多譬如大小、宽度等参数影响，但不妨粗略进行数量级估计计算，如图 2014 年 ISSCC 经典的数据 45 nm 0.9V 阅读全文

摘要： 符号推理，简单调研一下 符号 vs 模拟 形式验证和 UVM 验证方法（Functional Verification）本质出发点是不同的，一个基于符号逻辑推理，另一个基于模拟器。 比如有组合电路 A 和组合电路 B，要验证他们逻辑功能一致，即真值表一致。 ⚠️以下内容有猜测部分，待调研工具具体实现 阅读全文

摘要： 冯诺伊曼架构和存算不是对立的概念 从智能角度证明存算架构力度远远不够 存算针对的是存储和计算关系，冯诺依曼架构针对的是程序和数据都要存储，二者重心不一样因此不是对立的概念。 如果按原教旨主义理解冯诺依曼架构，就要追溯到 《First Draft of a Report on the EDVAC[1] 阅读全文

摘要： 很早前看到知乎的这篇回答[1]，技术栈太浅薄不能理解 spatial computing 的核心问题，而今年 groq、tensotorrent、SambaNova 各种新鲜技术范式出现层出不穷，把我的胃口吊得高高的，遂调研 spatial computing。 Dataflow Accelerat 阅读全文

摘要： 电路中一个输出连接多个输入，需要提高输出门的驱动能力；若多个输出连接一个输入，则需要引入高阻态保证逻辑的正确性。一般 CMOS 的逻辑门单元理想状态下同一时刻总有一个连通，是无法输出高阻态的。输入高阻态需要特殊的器件，在 PDK 中一般以传输门或者三态buf方式实现。 MUX: 逻辑实现 NUX 是 阅读全文

摘要： 今日不少北京的朋友在朋友圈晒出了漂亮的晚霞，欣赏美景之余不禁好奇，为何晚霞是红色呢？GPT 给出的回答无非绕不开瑞利散射对波长特性不一致，而落日时角度使得光路长度不一致，进而导致晚霞红色。但进一步深究，光路长度怎么影响到波长？傍晚红光穿透力强，蓝光被散射了，为何直射天空是蓝色的？GPT 就开始胡扯了 阅读全文

摘要： “FPGA vs ASIC，孰强孰弱？” 这是在我心中埋藏很久的一个疑问。因为听到有言论说在 DNN 上，FPGA 被 ASIC 完爆，能耗和面积都不占优势；而又听到 FPGA 在其他比如量化领域仍有重要的应用空间。我好奇究竟什么情况下 FPGA 会更有优势呢？FPGA 相比 ASIC 的区别无非便 阅读全文

摘要： 本文是 Mamba 阅读第一篇文章，本来想从三个问题出发(1)不同 SSM 模型的区别是什么？(2)Transformer 和 SSM 可以等效吗？什么情况下可以等效？(3)很多实验表明 Mamba1 和 Mamba2 并不是单纯替代关系[1]，Mamba2 相比 Mamba1 的变化是什么？即 S 阅读全文

摘要： 广义来说并行分为俩种，提高单元效率是时域并行，一般是通过提高 utilization，而增加单元数量则是空域并行。现代处理器中往往各种并行机制混合存在，本文旨对不同的并行机制分析归类。大部分并行机制都是针对俩个问题：1）解耦单元之间的依赖关系提高并行度 [1]，以及2）访存问题，后续并行机制大都可以 阅读全文

摘要： ETH Computer Architecture Fall 2023 [1]课程笔记 从 parallelism 到 heterogeneity Admal's Law 和 Polloack's Rule 支撑 parallelism。理想 N 核对单核加速比遵守 \(s = \frac{1}{p 阅读全文

摘要： “数学的关键是作图呐！”—— 知名数学教师，孙庆宏 Bayesian Inference Overview of IC Design 从 PPA 出发想办法把各项指标关系用一张图表示，很多地方还不是展现得很好，比如 Arch 的部分都用 utilization 概括了，用 FLOPS 表示 perf 阅读全文

摘要： ZigZag 在 PE array-memory hierarchy level 上对 nested-loop based 算子数据部署设计策略进行详细分析。文章作者来自鲁汶 MICAS [1]实验室。 软硬件建模 软件上只涉及 MAC-based 的网络算子（Linear、Convolutiona 阅读全文

摘要： 互联网络泛泛谈 互联网络是一种图结构，节点之间通过边连接。比如一般总线计算机架构中 CPU、Memory、Timer 等模块看作节点， 通过总线相连。 每个节点在网络中的身份是不对等的，有 master 和 slave 之分，或者按 TLM 中的模型 initiator 和 target。Initi 阅读全文

摘要： ❗️此坑还没填完，等到后面用到 triton 再补充 既生 CUDA， 何生 triton CUDA 编程昂贵上手门槛促使 triton 的诞生[1]。 语法福利 相比 CUDA C++ like 的设计风格，triton 使用 python。语法回避 C++ 模板编程和指针；环境集成比起 Pyto 阅读全文

摘要： 在数字电路中也有冲突冒险的概念，也表示对公共资源的冲突，此文的冒险则侧重于流水线并行中的冒险概念。 现代 ISA 并非描述依赖的语言 数据相关即 Producer-Consumer 关系，后一个指令的输入依赖前一个指令的输入，根据因果性二者的执行必须串行。这种指令间的因果依赖关系要靠图结构来表示，每 阅读全文

摘要： Introduction ITRS [1]每次预测未来 15 年半导体的发展，2024 年恰好是 Dark Silicon 文章写作年份 ITRS 预测最后一年[2]。15 年回首，重温 《Dark silicon and the end of multicore scaling》[3] 这篇伟大文 阅读全文

摘要： 朋友们好，距离上篇总结又过去了半年，这句话非常重量，代表我cos科研人员已经一年！奉上一年总结，自勉之！ Outline 修正先前的科研生活模型[1]，带 * 号在先前的博客中有涉及。 A. 知识输入 读什么文章* （带着目的做调研） 怎么快速判断文章好不好* （数据是普适价值） B. 产出 如何选 阅读全文

摘要： ❗️此坑还没填完 人造游戏尚难以用模型以概之，何况真实世界？ 经济增长即是总产出增长 Cobb-Douglas 生产函数： \[Y = A K^{\alpha} L^{\beta} \]产出 \(Y\) （total production）和什么相关？ 可累加投入（规模） 劳力投入（Labor） \ 阅读全文

摘要： 循环是迭代空间的一个点 使用嵌套循环（Nested Loop）抽象不同的 DNN 乘加算子[1]，使用多面体数学模型（Polyhedral Model）抽象循环的变换优化。 多面体模型里循环可以用迭代向量或者迭代点表示，我们以常见的 Linear Projection Layer 为例分析，该循环的 阅读全文

摘要： 以 [1] 参考, Chisel 版本 6.0。Chisel 使用 mill 或 sbt 作为项目构建工具，我们这里使用 mill 为例 版本 mill 工具构建时对版本有强依赖关系，版本号不一致就会自动下载，创建环境需要检查 Chisel / Scala / Mill 的版本，mill 构建工具更 阅读全文