1_4pytorch - 随笔分类 - MKT-porter

摘要：参考李沐 1 手工版本手工写w b 2 调用神经网络版本 net代替w b 阅读全文

posted @ 2024-07-01 14:49 MKT-porter 阅读(14) 评论(0) 推荐(0)

摘要：在PyTorch中添加重投影误差（Reprojection Error）作为损失函数通常用于计算机视觉任务，特别是涉及多视图几何（如立体视觉或多视角重建）的问题。重投影误差衡量了3D点在投影到不同视角后的图像平面上的偏差。以下是如何在PyTorch中实现和使用重投影误差作为损失函数的步骤：定义重投阅读全文

posted @ 2024-06-28 22:10 MKT-porter 阅读(502) 评论(0) 推荐(0)

3D高斯损失函数（1）单纯损失函数

摘要：在PyTorch中，定义一个损失函数并更新梯度通常涉及以下几个步骤：定义损失函数：可以使用PyTorch内置的损失函数或者自定义一个损失函数。前向传播：通过模型计算预测值。计算损失：使用定义好的损失函数计算预测值与真实值之间的损失。反向传播：通过计算损失的梯度来更新模型参数。下面是一个完整的示例，阅读全文

posted @ 2024-06-28 22:07 MKT-porter 阅读(87) 评论(0) 推荐(0)

pytorch(13-2) CycleGAN

摘要：官网 https://junyanz.github.io/CycleGAN/ 代码 https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix 阅读全文

posted @ 2023-10-31 15:44 MKT-porter 阅读(17) 评论(0) 推荐(0)

pytorch(13-1) GAN基础模型

摘要：https://zh.d2l.ai/chapter_computer-vision/neural-style.html import torch import torchvision from torch import nn from d2l import torch as d2l # 1阅读内容和阅读全文

posted @ 2023-10-31 15:27 MKT-porter 阅读(22) 评论(0) 推荐(0)

pytorch(11.2) Transformer 翻译学习的代码

摘要：1 理解 1-1 视频看这个，但是要资料的话其公众号说了免费，加了一堆问题就是不发。 https://www.bilibili.com/video/BV1sW4y1J7cL/?p=23&spm_id_from=333.880.my_history.page.click&vd_source=f88ed 阅读全文

posted @ 2023-10-27 14:40 MKT-porter 阅读(31) 评论(0) 推荐(0)

pytorch(10.2) 自注意力理论固定C变化到可变C

摘要：https://www.processon.com/diagraming/6538ba85599d0f3e3d5b11a7 编解码器整体架构固定上下文训练阶段预测阶段可变上下文训练阶段 1早先的预测模型让我们首先定义预测函数来生成prefix之后的新字符，其中的prefix是一个用户提阅读全文

posted @ 2023-10-24 22:59 MKT-porter 阅读(87) 评论(0) 推荐(0)

pytorch(12-1) Transformer 用到视觉模块

摘要：ViT｜ Vision Transformer ｜理论 + 代码_哔哩哔哩_bilibili 课件地址 https://65d8gk.axshare.com/?id=hk98lb&p=%E7%BD%91%E7%BB%9C%E7%BB%93%E6%9E%84&g=1&sc=3 1 不用卷积神经网络那些阅读全文

posted @ 2023-10-23 17:42 MKT-porter 阅读(75) 评论(0) 推荐(0)

pytorch(11.1) Transformer 传统翻译架构

摘要：官方 https://jalammar.github.io/illustrated-transformer/ 知乎解读 https://zhuanlan.zhihu.com/p/266069794 解码器中的自关注层的运行方式与编码器中的运行方式略有不同：在解码器中，自注意力层只允许关注输出序列中阅读全文

posted @ 2023-10-23 16:52 MKT-porter 阅读(50) 评论(0) 推荐(0)

pytorch(10.3) 多头注意

摘要：10.5. 多头注意力 — 动手学深度学习 2.0.0 documentation (d2l.ai) Multi-Head Attention | 算法 + 代码_哔哩哔哩_bilibili 代码实现 x[1,4,2] 1几个样本（句子） 4 预测步长（4个单词） 2每个单词的编码后特征长度 fro 阅读全文

posted @ 2023-10-23 16:02 MKT-porter 阅读(41) 评论(0) 推荐(0)

pytorch(10.2.2) 注意力汇聚理论代码测试

摘要：https://github.com/Enzo-MiMan/cv_related_collections/blob/main/deep_learning_basic/self-attention/self_attention.py import torch.nn as nn import torch 阅读全文

posted @ 2023-10-17 15:43 MKT-porter 阅读(55) 评论(0) 推荐(0)

pytorch(9.7) keras-Embedding 嵌入层

摘要：https://www.tensorflow.org/text/guide/word_embeddings 将文本表示为数字机器学习模型将向量（数字数组）作为输入。处理文本时，您必须做的第一件事是想出一种策略，将字符串转换为数字（或“矢量化”文本），然后再将其输入模型。 1独热编码作为第一个想法阅读全文

posted @ 2023-10-17 13:22 MKT-porter 阅读(48) 评论(0) 推荐(0)

pytorch(10.1) 自注意力理论

摘要：0 为什么会出现注意机制 97. 97 - 097 传统解决方案遇到的问题_哔哩哔哩_bilibili 缺点 1 后续的预测必须用上前面的中间态结果，不能算独立，不能并行加速计算 2 网络能学习到不同的重点，而不是统一均匀都起到作用。 3 传统词向量训练好，词向量模型不能改变 1 注意力理解概念引阅读全文

posted @ 2023-10-16 22:13 MKT-porter 阅读(266) 评论(0) 推荐(0)

pytorch(9-1) 门控循环单元

摘要：复杂实现 import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l from API_86 import * # 1-1 初始化权重 W b def get_ 阅读全文

posted @ 2023-10-16 17:28 MKT-porter 阅读(85) 评论(0) 推荐(0)

pytorch(8-6) 循环神经网络的简洁实现

摘要：https://zh.d2l.ai/chapter_recurrent-neural-networks/rnn-concise.html# 86循环神经网络的简洁.py import torch from torch import nn from torch.nn import functional 阅读全文

posted @ 2023-10-11 21:49 MKT-porter 阅读(121) 评论(0) 推荐(0)

pytorch(8-5) 循环神经网络的从零开始

摘要：https://zh.d2l.ai/chapter_recurrent-neural-networks/rnn-concise.html API_85.py import collections import re from d2l import torch as d2l import random 阅读全文

posted @ 2023-10-11 21:11 MKT-porter 阅读(88) 评论(0) 推荐(0)

pytorch(8-3) 文本语言处理拆分成字符统计词频并从高到底分配ID 画图可视化1-3元词频分布规律

摘要：https://zh.d2l.ai/chapter_recurrent-neural-networks/language-models-and-dataset.html import collections import re from d2l import torch as d2l draw_pi 阅读全文

posted @ 2023-10-09 22:51 MKT-porter 阅读(88) 评论(0) 推荐(0)

pytorch(8-2) 文本语言处理拆分成字符统计词频并从高到底分配ID

摘要：https://zh.d2l.ai/chapter_recurrent-neural-networks/language-models-and-dataset.html import collections import re from d2l import torch as d2l #@save 阅读全文

posted @ 2023-10-09 21:19 MKT-porter 阅读(73) 评论(0) 推荐(0)

pytorch(8-1) 循环神经网络序列模型

摘要：https://zh.d2l.ai/chapter_recurrent-neural-networks/sequence.html #%matplotlib inline import torch from torch import nn from d2l import torch as d2l f 阅读全文

posted @ 2023-10-08 21:45 MKT-porter 阅读(63) 评论(0) 推荐(0)

pytorch(3-0) 可视化训练误差折线图有

摘要：缺点必须手动点击下关闭才能刷新最新的图，起码不会阻塞训练过程 ### 画图训练损失训练精度测试精度 import matplotlib.pyplot as plt import threading import time import matplotlib.animation as anim 阅读全文

posted @ 2023-09-25 22:44 MKT-porter 阅读(51) 评论(0) 推荐(0)

随笔分类 - 1_4pytorch