摘要： 研究cuda算子用得着。 用cuobjdump工具，linux window上都有。安装cuda toolkit后就有了，和nvcc一套的 wget https://download.pytorch.org/libtorch/cu128/libtorch-shared-with-deps-2.9.0 阅读全文

摘要： 在实际的大模型中，​​多个Transformer结构（层）是串联（堆叠）起来的​​，每一层都站在前一层“巨人”的肩膀上，使得模型对信息的理解越来越深入和精准。在2017年的原始Transformer论文中，编码器和解码器各使用了​​6层​​。 图中 Multi-Head Attention就是注意力 阅读全文

摘要： 用esp32 qemu模拟器实验的，但是原理适用于多数网络设备，因为协议通用。 esp32硬件里内置mac和wlan的phy，没有内置以太网phy，真实使用时需要外接dp83848这类的phy，数据通过RMII接口发送到PHY。 MII RMII是类似SDIO的一种接口，专门用于以太网phy esp 阅读全文

摘要： 大值​​（|x| > 8.507e37f）：退化为 sign(x)⋅(ln2+ln∣x∣) ​​小值​​（|x| < 8.507e37f）：使用代数变形和 log1p，避免精度损失。 ln(1+t) 阅读全文

摘要： import numpy as np from PIL import Image, ImageDraw, ImageFont, ImageOps # 读取二进制文件 file_path = 'float_data.bin' # 替换为你的文件路径 with open(file_path, 'rb') 阅读全文

摘要： 方法：python，vscode安装python插件后直接调试。 c++ .so，python运行后打印自己的进程号，到断点暂停。c++插件驱动gdb attach到python进程，开启调试。 注意：vscode驱动gdb attach进程，ubuntu 22.04上需要给一个sudoer权限。这 阅读全文

摘要： 第一次配置cuda环境，python环境训练模型时，可能遇到Could not locate zlibwapi.dll. Please make sure it is in your library path! 原因就是window系统里没有 zlibwapi.dll. ，与cuda没关系，cuda 阅读全文

摘要： 某个c语言工程，无法直接gdb调试，代码中宏定义、宏函数满天飞、临时生成config.h、头文件在其他工程中。 阅读难度很大，doxygen分析也很困难。我发明了一个新方法： 1. gcc编译时，-save-temps，生成 .i 预处理文件。 2. clang-format、sed等工具处理下.i 阅读全文

摘要： systemtap可以无损的探测。当然前提是ubuntu之类的系统默认已经开启kprobe。 直接上脚本： #!/usr/bin/stapglobal start, end probe module("your_driver").function("your_function") { start[t 阅读全文

摘要： 一句话：更换合适版本。不管是源码编译还是直接安装的预编译包，版本必须与你的kernel匹配，不然就是一堆奇怪的报错，正面去解决是不可能的。 你可能会遇到这些编译输出： Pass 1: parsed user script and 476 library scripts using 103292vir 阅读全文