摘要：
概述 oftmax函数的表达式 $ \text{Softmax}(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}} $，但在计算机的运算上有一定的缺陷。这个缺陷就是溢出问题。 softmax函数的实现中要进行指数函数的运算，但是此时指数函数的值很容易变得非常大。比如，e 阅读全文
posted @ 2024-09-05 22:18
立体风
阅读(241)
评论(0)
推荐(0)
摘要：
die 在电子行业内使用背景 "Die" 的本意是指一种工具或模具，用于压制或切割材料，例如金属、塑料或玻璃。它也可以指一种用于制造产品的模具或工具。 在电子行业中，"die" 指的是一个集成电路的核心部分，也就是说，它是指集成电路的实际电路部分，不包括外部的连接线路和封装材料。这个术语来自于集成电 阅读全文
posted @ 2024-08-21 13:34
立体风
阅读(576)
评论(0)
推荐(0)
摘要：
基本逻辑 dim=0 表示 scatter 操作将在行方向上进行。dim指定index参数的值。即 index[i,j]=v 的 v 的值。 index 张量的形状应该与 src 张量的形状匹配，或者能够广播到相同的形状。 对于每一个 index 的位置 (i, j), src[i, j] 中的值会 阅读全文
posted @ 2024-08-21 09:55
立体风
阅读(81)
评论(0)
推荐(0)
摘要：
概述 scatter_ 函数的作用 在 PyTorch 中，scatter_ 函数是一种用于更新张量的函数，它可以根据给定的索引和值来更新张量中的元素。 scatter_ 函数的基本语法如下： torch.scatter_(input, dim, index, src) 其中： input 是要更新 阅读全文
posted @ 2024-08-21 08:01
立体风
阅读(310)
评论(0)
推荐(0)
摘要：
安装系统环境为：Debian 或 Ubuntu。 安装命令 git clone --depth=1 https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -Bbuild cmake --build build -D... cd build 阅读全文
posted @ 2024-08-20 09:58
立体风
阅读(2148)
评论(0)
推荐(0)
摘要：
🤔 在 Git 中，使用“fetch”而不是“download”表示“获取”或“下载”，有几个原因： 历史背景：Git 是由 Linux 的创始人 Linus Torvalds 创建的，并且“fetch”一词在 Git 的早期版本中已经使用过。据信，这是受到 Unix 命令 fetchmail 的 阅读全文
posted @ 2024-08-20 09:26
立体风
阅读(180)
评论(0)
推荐(0)
摘要：
gguf格式下，各种量化方法后的支持情况，及运行速度 Library CPU (AVX2) CPU (ARM NEON) Metal cuBLAS rocBLAS SYCL CLBlast Vulkan Kompute K-quants ✅ ✅ ✅ ✅ ✅ ✅ ✅ 慢 ✅慢 ✅ I-quants ✅ 阅读全文
posted @ 2024-08-20 09:19
立体风
阅读(221)
评论(0)
推荐(0)
摘要：
概论 在 PyTorch 中，torch.stack 函数用于在指定的维度上将一组张量堆叠起来。这个操作会在指定维度上创建一个新的维度，并将输入张量在该维度上进行堆叠。假设有两个形状相同的张量 a 和 b，它们的形状都是 (2, 3, 4)，那么在不同的 dim 参数下使用 torch.stack 阅读全文
posted @ 2024-08-19 10:45
立体风
阅读(572)
评论(0)
推荐(0)
摘要：
已经过去五年了，AMD 通过发布基于全新 Zen 架构的第一代 Epyc CPU，重新点燃了服务器和数据中心的雄心。自那时以来，Epyc 已经在服务器处理器市场份额中取得了显著的进展，蚕食了英特尔的市场份额。 最初的 Epyc，代号为 Naples，被正式命名为 7001 系列，最高可达 32 个核 阅读全文
posted @ 2024-08-18 15:29
立体风
阅读(1980)
评论(0)
推荐(0)
摘要：
浮点数的加法和减法运算是计算机中最常见也是最复杂的运算之一。由于浮点数的内部表示由符号（Sign）、指数（Exponent）和尾数（Mantissa）三部分组成，浮点数的加减法运算必须处理这些部分之间的复杂关系。以下是浮点数相加或相减的详细运算步骤： 1. 浮点数表示的回顾 符号位（Sign）：表示 阅读全文
posted @ 2024-08-17 15:45
立体风
阅读(2137)
评论(0)
推荐(0)
浙公网安备 33010602011771号