摘要：
轨迹预测损失函数计算-CSDN博客 阅读全文
posted @ 2024-12-12 09:34
Picassooo
阅读(49)
评论(0)
推荐(0)
摘要：
详解PyTorch FSDP数据并行(Fully Sharded Data Parallel)-CSDN博客 阅读全文
posted @ 2024-12-08 11:51
Picassooo
阅读(184)
评论(0)
推荐(0)
摘要：
主节点（master_ip + master_port）责协调所有其他节点和进程的工作，由主节点所在服务器的IP地址和主节点进程的端口号来确定主节点。主节点还负责监控系统状态、处理任务分配、结果汇总等任务，因此是整个系统的关键部分。 节点编号(node_rank)是系统中每个节点的唯一标识符，用于区 阅读全文
posted @ 2024-12-08 11:45
Picassooo
阅读(119)
评论(0)
推荐(0)
摘要：
gradient_accumulation_steps --梯度累加理解_gradient accumulation step-CSDN博客 阅读全文
posted @ 2024-12-08 11:23
Picassooo
阅读(211)
评论(0)
推荐(0)
摘要：
大模型超详细解读 (目录) - 知乎 大语言模型LLM之GPT系列 - Picassooo - 博客园 大语言模型LLM之LLaMa系列 - Picassooo - 博客园 大语言模型LLM之MoE系列 - Picassooo - 博客园 An Introduction to VLMs: The F 阅读全文
posted @ 2024-12-07 11:38
Picassooo
阅读(61)
评论(0)
推荐(0)
摘要：
大模型超详细解读 (目录) - 知乎 MoE 系列超详细解读 (一)：Soft MoE：一种完全可微的稀疏 Transformer - 知乎 MoE 系列超详细解读 (二)：V-MoE：视觉领域的稀疏门控混合专家模型 - 知乎 MoE 系列超详细解读 (三)：ST-MoE：设计稳定可迁移的稀疏专家模 阅读全文
posted @ 2024-12-07 11:36
Picassooo
阅读(161)
评论(0)
推荐(0)
摘要：
大模型超详细解读 (目录) - 知乎 LLM 系列超详细解读 (一)：GPT：无标注数据的预训练生成式语言模型 - 知乎 LLM 系列超详细解读 (二)：GPT-2：GPT 在零样本多任务学习的探索 - 知乎 LLM 系列超详细解读 (三)：GPT-3：大型语言模型是少样本学习器 - 知乎 LLM 阅读全文
posted @ 2024-12-07 11:33
Picassooo
阅读(71)
评论(0)
推荐(0)
摘要：
大模型超详细解读 (目录) - 知乎 LLM 系列超详细解读 (六)：LLaMa：开源高效的大语言模型 - 知乎 LLM 系列超详细解读 (七)：LLaMa 2：开源微调的聊天大语言模型 - 知乎 阅读全文
posted @ 2024-12-07 11:30
Picassooo
阅读(44)
评论(0)
推荐(0)
摘要：
CONFIG=$1 GPUS=$2 NNODES=${NNODES:-1} NODE_RANK=${NODE_RANK:-0} PORT=${PORT:-29500} MASTER_ADDR=${MASTER_ADDR:-"127.0.0.1"} PYTHONPATH="$(dirname $0)/ 阅读全文
posted @ 2024-12-04 11:39
Picassooo
阅读(153)
评论(0)
推荐(0)
摘要：
史上最全Carla教程 |（一）Carla的基本架构 - 知乎 史上最全Carla教程 |（二）Carla安装 - 知乎 史上最全Carla教程 |（三）基础API的使用 - 知乎 史上最全Carla教程 |（四）同步模式 - 知乎 史上最全Carla教程 |（五）交通管理器 - 知乎 史上最全Ca 阅读全文
posted @ 2024-11-28 17:25
Picassooo
阅读(378)
评论(0)
推荐(0)
浙公网安备 33010602011771号