随笔分类 - 深度学习
摘要：在神经网络量化过程中，指数平滑法、直方图截断法和KL散度校准法都是用于优化量化过程中缩放因子的计算和选择的技术。这些方法通常旨在尽量减小量化误差，保持模型性能。下面分别解释这三种方法： 1. 指数平滑法（Exponential Smoothing） 基本思路：指数平滑法是一种时间序列分析方法，常用于
阅读全文
摘要：问题总结：nan 问题 现象： 在训练过程中，训练损失（Train Loss）和测试损失（Test Loss）的值变为 nan（Not a Number）。这通常意味着训练过程中出现了数值计算错误或不稳定，导致无法计算出有效的损失值。同时，训练准确率和测试准确率（Train Accuracy 和 T
阅读全文
摘要：在许多现代计算任务中，尤其是在深度学习和自然语言处理领域，Q（Query）、K（Key）和V（Value）是处理信息的核心概念之一，通常用于自注意力机制（Self-Attention Mechanism），如Transformer模型。 下面我将详细介绍 Q、K 和 V 在这种背景下的含义： Q（Q
阅读全文
摘要：1. 3D-GAN 3D-GAN 书上介绍的这种3D卷积挺有意思的，这篇文章也是借鉴这本书的 3D 卷积操作沿x，y和z这三个方向对输入数据应用 3D 过滤器。 此操作将创建 3D 特征映射的堆叠列表。 输出的形状类似于立方体或长方体的形状
阅读全文
摘要：1. GAN的具体架构 大语言模型(LLM)与生成式人工智能(GenAI)指南 GAN 主要由两部分构成:生成网络和判别网络。每个网络都可以是任何神经网络，比如普通的人工神经网络(artificialneuralnetwork,ANN)、卷积神经网络(convolutionalneural netw
阅读全文
摘要：1. 什么是回归问题 回归问题（Regression Problem）是机器学习中的一种任务，它的目标是预测一个连续值作为输出。这与分类问题不同，分类问题是预测离散的标签。回归问题在很多领域都有应用，比如房价预测、股票价格预测、天气预测等。 以下是回归问题的一些关键点： 目标变量（Target Va
阅读全文
摘要：对于一张灰度图片，像素值越大则亮度越高，像素值越小则亮度越低 在数字图像处理领域有一种很简单的图像亮度调整算法——伽马变换 伽马变换是一种用于调整图像亮度和对比度的非线性操作，其基本公式为 ( I' = I^\gamma )，其中 ( I' ) 是输出图像的灰度值，( I ) 是输入图像的灰度值，而
阅读全文
摘要：ResNet （Residual net）是残差网络的通用概念，而 ResNet50 是一个具体的网络结构，其由50个卷积层组成。ResNet50 是指包含了50个卷积层（包括卷积层、池化层、全连接层等）的 ResNet 网络。ResNet50 是基于 ImageNet 数据集上的训练所提出的一个具
阅读全文
摘要：Android Studio是当前开发App和部署神经网络的常用平台。作为谷歌推出的一个Android集成开发工具，基于IntelliJ IDEA. 类似 Eclipse ADT，Android Studio 提供了集成的 Android 开发工具用于开发和调试。Android Studio能够在L
阅读全文
摘要：案例二：对文本进行分类，类别有财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐 github代码链接点击此文本分类 原作者给出了好几种模型 此次仅针对BiLSTM模型分析。 核心代码如下： class Model(nn.Module): def __init__(self, config)
阅读全文
摘要：原理分析： BiLSTM（双向长短期记忆网络） 是一种循环神经网络（RNN）的变体，它在自然语言处理任务中非常有效，其中包括给定一个长句子预测下一个单词。 这种效果的主要原因包括以下几点： 长短期记忆网络（LSTM）结构：LSTM 是一种特殊的 RNN，专门设计用于解决长序列依赖问题。相比于普通的
阅读全文
浙公网安备 33010602011771号