摘要： 项目背景: 自动驾驶感知任务中，相机与激光雷达是核心传感器，二者具有极强的互补性，但存在异构数据难以对齐的关键问题：相机具备高语义密度，可清晰捕捉红绿灯、行人姿态等细节信息，却缺乏深度感知能力；激光雷达能提供高精度几何信息，测距稳定，但其点云数据稀疏、语义表达薄弱。传统多传感器融合方法要么会丢失图像 阅读全文

摘要： 1. 引言：Transformer中的Attention计算与GPU内存瓶颈 Transformer模型在自然语言处理、计算机视觉等领域取得了巨大的成功。其核心机制之一就是自注意力（Self-Attention）。简单来说，Attention机制允许模型在处理序列数据时，为不同的位置赋予不同的权重， 阅读全文

摘要： CUDA 入门编程示例: 本文将通过几个简单的 CUDA 编程示例，带你初步了解 CUDA 的基本概念和编程流程。这些示例都附带了详细的解释，希望能帮助你快速入门 CUDA 开发。 1. 第一个 CUDA 核函数：Hello GPU! 让我们从一个最简单的 CUDA 程序开始，这个程序将在 GPU 阅读全文

摘要： 工具详解: 在追求卓越性能的软件开发过程中，理解应用程序在整个系统中的行为至关重要。NVIDIA Nsight Systems (nsys) 正是一款为此而生的强大工具。它能够帮助开发者深入了解应用程序在 CPU、GPU 和网络通信等各个层面的运行情况，从而有效地识别性能瓶颈并进行优化。本文将带你认 阅读全文

摘要： 一、Prefill与Decode的底层原理剖析 1.1 Prefill阶段的数学本质 （以Transformer架构为例） 计算密集型的核心原因： # 自注意力计算伪代码 Q = X @ W_Q # [batch, seq_len, d_model] → [batch, seq_len, d_k] 阅读全文

摘要： 汇编语言基础：编码风格、栈操作与函数调用 汇编语言是计算机底层的编程语言，直接与硬件交互。掌握汇编语言不仅有助于理解程序的运行机制，还能优化性能。本文将介绍汇编语言的编码风格、栈操作以及函数调用的实现，并通过示例代码详细解析。 汇编编码风格 汇编语言主要有以下几种编码风格： 1. Intel 风格 阅读全文

摘要： 1. LLM 推理阶段概述： Prefill 阶段（预填充）： 此阶段是 LLM 推理的初始阶段，负责处理输入的提示（prompt）。 其主要任务是将输入的文本转换为模型可以理解的内部表示，即 Key/Value (KV) 缓存。 Prefill 阶段的计算量通常较大，尤其是在处理长提示时。 Dec 阅读全文

摘要： 环境准备 硬件配置 节点信息： node01: 10.197.61.1, 8 NPU node02: 10.197.61.2, 8 NPU 内存：773GB 操作系统 操作系统可以是openeuler或者ubuntu,安装包环境基本一致 CULinux Enterprise Edition rele 阅读全文

摘要： ### 快速上手多线程压缩：用 `tar` 直接调用 `pigz` 如果你在压缩大文件或目录时感到速度太慢，可以尝试将 `tar` 与 `pigz` 结合，并通过**指定多线程参数**大幅提升效率。以下是直接使用 `tar` 命令调用 `pigz` 的极简教程，包含实际性能优化的参数组合。 示例命令 阅读全文

摘要： 一、硬件与系统环境要求 1.1 硬件配置 GPU: 8× NVIDIA A100 80GB (PCIe) 显存要求: 每卡80GB，8卡总显存640GB 系统内存: ≥32GB (用于交换空间) 1.2 软件环境 操作系统: Linux（验证环境发行版 Ubuntu 22.04 LTS） 驱动版本: 阅读全文