懒猫后花园

摘要： 今日不少北京的朋友在朋友圈晒出了漂亮的晚霞，欣赏美景之余不禁好奇，为何晚霞是红色呢？GPT 给出的回答无非绕不开瑞利散射对波长特性不一致，而落日时角度使得光路长度不一致，进而导致晚霞红色。但进一步深究，光路长度怎么影响到波长？傍晚红光穿透力强，蓝光被散射了，为何直射天空是蓝色的？GPT 就开始胡扯了 阅读全文

摘要： “FPGA vs ASIC，孰强孰弱？” 这是在我心中埋藏很久的一个疑问。因为听到有言论说在 DNN 上，FPGA 被 ASIC 完爆，能耗和面积都不占优势；而又听到 FPGA 在其他比如量化领域仍有重要的应用空间。我好奇究竟什么情况下 FPGA 会更有优势呢？FPGA 相比 ASIC 的区别无非便 阅读全文

摘要： 本文是 Mamba 阅读第一篇文章，本来想从三个问题出发(1)不同 SSM 模型的区别是什么？(2)Transformer 和 SSM 可以等效吗？什么情况下可以等效？(3)很多实验表明 Mamba1 和 Mamba2 并不是单纯替代关系[1]，Mamba2 相比 Mamba1 的变化是什么？即 S 阅读全文

摘要： 广义来说并行分为俩种，提高单元效率是时域并行，一般是通过提高 utilization，而增加单元数量则是空域并行。现代处理器中往往各种并行机制混合存在，本文旨对不同的并行机制分析归类。大部分并行机制都是针对俩个问题：1）解耦单元之间的依赖关系提高并行度 [1]，以及2）访存问题，后续并行机制大都可以 阅读全文

摘要： ETH Computer Architecture Fall 2023 [1]课程笔记 从 parallelism 到 heterogeneity Admal's Law 和 Polloack's Rule 支撑 parallelism。理想 N 核对单核加速比遵守 \(s = \frac{1}{p 阅读全文

摘要： “数学的关键是作图呐！”—— 知名数学教师，孙庆宏 Bayesian Inference Overview of IC Design 从 PPA 出发想办法把各项指标关系用一张图表示，很多地方还不是展现得很好，比如 Arch 的部分都用 utilization 概括了，用 FLOPS 表示 perf 阅读全文

摘要： ZigZag 在 PE array-memory hierarchy level 上对 nested-loop based 算子数据部署设计策略进行详细分析。文章作者来自鲁汶 MICAS [1]实验室。 软硬件建模 软件上只涉及 MAC-based 的网络算子（Linear、Convolutiona 阅读全文

摘要： 互联网络泛泛谈 互联网络是一种图结构，节点之间通过边连接。比如一般总线计算机架构中 CPU、Memory、Timer 等模块看作节点， 通过总线相连。 每个节点在网络中的身份是不对等的，有 master 和 slave 之分，或者按 TLM 中的模型 initiator 和 target。Initi 阅读全文

摘要： ❗️此坑还没填完，等到后面用到 triton 再补充 既生 CUDA， 何生 triton CUDA 编程昂贵上手门槛促使 triton 的诞生[1]。 语法福利 相比 CUDA C++ like 的设计风格，triton 使用 python。语法回避 C++ 模板编程和指针；环境集成比起 Pyto 阅读全文

摘要： 在数字电路中也有冲突冒险的概念，也表示对公共资源的冲突，此文的冒险则侧重于流水线并行中的冒险概念。 现代 ISA 并非描述依赖的语言 数据相关即 Producer-Consumer 关系，后一个指令的输入依赖前一个指令的输入，根据因果性二者的执行必须串行。这种指令间的因果依赖关系要靠图结构来表示，每 阅读全文

摘要： Introduction ITRS [1]每次预测未来 15 年半导体的发展，2024 年恰好是 Dark Silicon 文章写作年份 ITRS 预测最后一年[2]。15 年回首，重温 《Dark silicon and the end of multicore scaling》[3] 这篇伟大文 阅读全文

摘要： 朋友们好，距离上篇总结又过去了半年，这句话非常重量，代表我cos科研人员已经一年！奉上一年总结，自勉之！ Outline 修正先前的科研生活模型[1]，带 * 号在先前的博客中有涉及。 A. 知识输入 读什么文章* （带着目的做调研） 怎么快速判断文章好不好* （数据是普适价值） B. 产出 如何选 阅读全文

摘要： ❗️此坑还没填完 人造游戏尚难以用模型以概之，何况真实世界？ 经济增长即是总产出增长 Cobb-Douglas 生产函数： \[Y = A K^{\alpha} L^{\beta} \]产出 \(Y\) （total production）和什么相关？ 可累加投入（规模） 劳力投入（Labor） \ 阅读全文

摘要： 循环是迭代空间的一个点 使用嵌套循环（Nested Loop）抽象不同的 DNN 乘加算子[1]，使用多面体数学模型（Polyhedral Model）抽象循环的变换优化。 多面体模型里循环可以用迭代向量或者迭代点表示，我们以常见的 Linear Projection Layer 为例分析，该循环的 阅读全文

摘要： 以 [1] 参考, Chisel 版本 6.0。Chisel 使用 mill 或 sbt 作为项目构建工具，我们这里使用 mill 为例 版本 mill 工具构建时对版本有强依赖关系，版本号不一致就会自动下载，创建环境需要检查 Chisel / Scala / Mill 的版本，mill 构建工具更 阅读全文

摘要： 强烈推荐 《香山源代码剖析》作为入门 Chisel 的教材 —— 2024 / 10 / 12 一年多前接触 Chisel 望 Scala 晦涩不堪的语法而却步。这一年多 Chisel 经过几次大版本更新，特别是切换后端后[1]生成 HDL 代码可读性提升一大截；更有小道消息最新 VCS 新增支持 阅读全文

摘要： CIM 发展这么多年，RRAM CIM 和 SRAM CIM 各自精彩。前几天 TSMC+新竹清华的张孟凡老师团队在 Science 上发表 RRAM + SRAM CIM 的 Fusion CIM 工作[1]。 Review Digital SRAM CIM 相较其他主流 AI 加速器范式区别不大 阅读全文

摘要： ❗️此坑还没填完 最近 Chisel 改用 CIRCT 的 firtool 作为 FIRRTL 的编译后端，不仅生成 Verilog 可读性上升一大截，速度也快上不少[1]。据说新版本 VCS 也支持 Chisel 了。UC Berkey 技能树点得真是猛 来圣地巡游学习一下著名的 RocketCh 阅读全文

摘要： ❗️此坑还没填完 TODO: GS 组成 point cloud render flow optimize 仓库结构 仓库由 C++/CUDA 和 Python 组成，CUDA 包括 diff-rasterization ，Python 包括 optimize 。CUDA 部分依赖 glm ，只用了 阅读全文

摘要： 杜书丞，目前正在香港科技大学攻读 Permanent Head Damage 学位，指导导师是 Tim CHENG 教授。对流片庞大的人物力开销深恶痛绝，每当压力超过阈值就会转换成文字宣泄出来 于是有了这个博客 lab 主页 | 知乎主页 | 领英主页 | 邮件 为什么要写博客：忙碌世界外的花园 费 阅读全文