摘要：范畴论概念辨析 范畴 (Category) 包含对象（Object）和态射，对比集合概念，范畴不仅定义了静态的成员，也定义了成员之间的动态交互关系。不是任意对象和态射都能称为范畴，态射中至少包含一个单位态射，任何对象经过该态射得到本身。 不仅态射可以让对象发生变换，态射本身也可以看作一个对象处理进行 阅读全文

摘要：什么时候需要并发？ 由于片上buffer 宝贵，且不同程序中的同一个计算操作对存储开销具有动态性，同一个程序中不同计算操作的先后顺序具有动态性，多个计算单元往往共享同一块片上 buffer 资源以便提高 buffer 利用率以及交换上下文数据。多对一便存在仲裁竞争等问题。 最简单的 baseline 阅读全文

摘要：zhihu-title: GPGPU？ NPU？ zhihu-topics: - GPGPU - NPU zhihu-link: https://zhuanlan.zhihu.com/p/1926295995316172022 zhihu-created-at: 2025-08-06 17:26 起 阅读全文

摘要：整形算术单元容易预测实现硬件行为，而浮点单元由于 （1）不遵守结合律（2）rounding 模式和特殊情况处理（subnormal、nan、-0、+inf、-inf） 往往更难预测硬件计算结果。神经网络中运算 MAC 运算累加超长数组同时涉及 (1) 和 (2) 问题，不满足交换律使得遍历保证 10 阅读全文

摘要：很早在纸上推导过梯度的计算方法，但每次都忘记推导过程反复推导。于此想总结新的记忆方法。 梯度下降推导过程难以记忆来自于矩阵微积分，矩阵微积分中涉及标量、向量、矩阵之间两两求导操作，其定义如下图，√ 表示存在定义，x 表示不存在定义[1]： 函数 \ 自变量 scalar vector matrix 阅读全文