红豆生南国 是很遥远的事情

摘要： 目录0. 计算公式1. 市面上常见的显卡2. 训练3. 推理 0. 计算公式 重点：显存大小 = 模型参数占用 + 梯度占用 + 优化器占用 + CUDA kernel占用 + 中间计算结果 每个神经元节点 不仅仅有自身的权重值 在进行反向传播的时候还有梯度的累计值 1. 市面上常见的显卡 英伟达G 阅读全文

摘要： 目录 AutoGen面向多个agent的开源框架，agent可定制 可对话 能够无缝的允许人类参与 有一个master agent 制定计划 分发给不同的agent-->智能体去中心 任意两个可直接对话 (或者分层的结构 上下两层之间才能交互) 构建复杂的多智能体对话系统，基于llm工作流，agen 阅读全文

摘要： 1. 环境配置 1.1 anconda配置环境 conda create -n DL_pytorch python=3.11 conda acticvate DL_pytorch conda deactivate conda env list conda remove -n DL_pytorch - 阅读全文

摘要： from __future__ import print_function import torch as t x = t.Tensor(5, 3) # 构建 (5, 3) 的矩阵，只是分配空间，未初始化 print(x) tensor([[1.0194e-38, 8.4490e-39, 1.046 阅读全文

摘要： PyTorch Basics import torch import numpy as np torch.manual_seed(1234) <torch._C.Generator at 0x21fe149e190> Tensors Scalar is a single number. Vector 阅读全文

摘要： 目录1. 概念2. 打家劫舍3 零钱兑换 1. 概念 关于动态规划这类问题 强烈建议学完下面的帖子： https://blog.csdn.net/qq_16664581/article/details/89598243 理解动态规划的使用场景强烈建议读一下这个故事： https://www.cnbl 阅读全文

摘要： 目录1. 强化学习2. 马尔科夫链3. Q值和V值 1. 强化学习 首先我们需要明确，强化学习的任务是什么？ 这用大白话说：就是我们希望用强化学习的方式，使智能体获得独立自主地完成某种任务的能力。 智能体学习和工作的地方，我们就称为环境。 注意！所谓独立自主，就是智能体一旦启动，就不需要人指挥了。 阅读全文

摘要： 目录1. 剪枝、聚类、量化协同2.知识蒸馏 1. 剪枝、聚类、量化协同 协同优化，即将剪枝、聚类、量化同时使用，用于减小模型体积、加速推理速度。 1 使用工具转换器的默认量化功能 2 有代表性的数据集可以进行整数量化 3 如果希望在GPU上加速模型，可以使用float16优化，或TensorRT 4 阅读全文

摘要： 目录1. 什么是量化2 位宽，高精度浮点数的表示3. K-means 聚类量化4. 均匀/线性量化（linear quantization）5. Thresholding量化6. 何时量化聚类量化代码 1. 什么是量化 量化可以理解为：从连续到离散，针对parameters（W）、activatio 阅读全文

摘要： 目录1. 模型压缩2. 神经网络剪枝4. 非结构化剪枝4. Pruning neurons结构化剪枝代码1模型的剪枝 这里针对整个模型进行剪枝使用TFLite创建一个压缩的模型使用TFLite创建一个压缩+量化的模型读取剪枝+量化的模型4. 结构化剪枝代码 1. 模型压缩 目的：使得模型体积更小，模 阅读全文