摘要：
在当今大模型蓬勃发展的时代，训练效率成为了制约模型发展与应用的关键因素。Transformer 架构中的自注意力机制虽强大，但面临着高计算成本与内存消耗的挑战。FlashAttention 应运而生，作为一种高效的注意力计算方法，它在加速模型训练与减少内存占用方面展现出了卓越的性能，为大模型的发展注 阅读全文
posted @ 2025-09-21 17:27
地平线智能驾驶开发者
阅读(107)
评论(0)
推荐(0)
摘要：
一、为什么是灰度图 相较于 RGB 三通道图像，灰度图仅保留亮度信息（Y 分量），数据量减少 2/3，相比于常用的 NV12 图像，数据量减少 1/3，内存占用与计算负载显著降低。对于下游网络结构而言，单通道网络计算量/参数量也会更少，这对边缘设备的实时处理至关重要。 灰度图部署有一个问题：如何将视 阅读全文
posted @ 2025-09-13 22:32
地平线智能驾驶开发者
阅读(26)
评论(0)
推荐(0)
摘要：
在大型语言模型（LLM）的推理过程中，KV Cache 是一项关键技术，它通过缓存中间计算结果显著提升了模型的运行效率。本文将深入解析 KV Cache 的工作原理、实现方式，并通过代码示例展示其在实际应用中的效果。 一、为什么需要 KV Cache？ 在 Transformer 进行自回归推理（如 阅读全文
posted @ 2025-09-13 22:18
地平线智能驾驶开发者
阅读(375)
评论(0)
推荐(0)
摘要：
一、前言 在实际部署智能驾驶方案时，很多不同任务的模型会同时运行，在非正常情况下，模型按设计帧率运行时，每次运行花费的时间会不稳定。在这种情况下，我们要让模型按设计帧率运行，同时实时监测模型推理耗时和带宽使用情况，分析模型耗时不稳定时带宽占了多少。 针对以上情况，本帖将介绍以下内容： 对 hrt_m 阅读全文
posted @ 2025-09-13 13:11
地平线智能驾驶开发者
阅读(28)
评论(0)
推荐(0)
摘要：
1. 功能概述 本 sample 提供全链路场景 1V，4V，7V 使用演示，实现单路及多路 VIO 接入，逐级经过 ISP、PYM、BPU、CODEC 模块处理。 1.1. 软件架构说明 本 sample 调用 VIO API 来实现整个数据通路，实现单路、多路 camera 接入，并能够 dum 阅读全文
posted @ 2025-09-06 17:33
地平线智能驾驶开发者
阅读(39)
评论(0)
推荐(0)
摘要：
一、前言 【理想汽车智驾方案介绍专题 -1】端到端+VLM 方案介绍 【理想汽车智驾方案介绍专题 -2】MindVLA 方案详解 【理想汽车智驾方案介绍专题 -3】MoE+Sparse Attention 高效结构解析 在前面的 3 篇文章中，笔者已经比较详细地介绍了 V、L、A 模块，本帖介绍 W 阅读全文
posted @ 2025-09-06 11:00
地平线智能驾驶开发者
阅读(166)
评论(0)
推荐(0)
浙公网安备 33010602011771号