03 2025 档案

Triton服务部署
摘要：选取一个镜像下拉到docker 命令:sudo docker pull nvcr.io/nvidia/tritonserver:23.04-py3 如果用python作为后端推理代码，肯定会用到pytorch，还需要安装torch等依赖包的镜像。可以创建一个Dockerfile，然后在tritons 阅读全文
posted @ 2025-03-25 17:24 15375357604 阅读(243) 评论(0) 推荐(0)
attention 代码
摘要：import torch import torch.nn as nn from math import sqrt class SelfAttention(nn.Module): def __init__(self, input_dim, dim_q_k, dim_v): self.q = nn.Li 阅读全文
posted @ 2025-03-21 14:17 15375357604 阅读(37) 评论(0) 推荐(0)