deephub

摘要： Transformer是一种专为处理序列数据而设计的高效神经网络架构。自2017年问世以来，Transformer已在自然语言处理(NLP)领域取得显著成就，并成为现代人工智能平台的核心组件，如OpenAI的ChatGPT[1]、Anthropic的Claude[2]以及Google的Gemini[ 阅读全文

摘要： 随着NVIDIA不断推出基于新架构的GPU产品，机器学习框架需要相应地更新以支持这些硬件。本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，并详细分析了问题根源及其解决方案，以期为遇到类似情况的开发者提供参考。 在Anaconda虚拟环境（"development"） 阅读全文

摘要： 随着大型语言模型（LLMs）和基于人工智能的应用程序在各行业的广泛部署，对自然语言处理（NLP）工具性能的要求日益提高。分词处理作为NLP流程中的基础环节，对整体推理性能有着决定性影响。分词过程的计算效率直接关系到模型处理文本的速度和资源消耗。在此技术背景下出现了FlashTokenizer，这是一 阅读全文

摘要： 在计算技术快速迭代的今天，传统通用处理器(CPU)正逐步被专用硬件加速器补充或替代，尤其在特定计算领域。这些加速器通过针对性设计，在功耗效率、计算吞吐量(FLOPS)和内存带宽方面实现了显著优化。截至2025年4月，加速器市场需求呈指数级增长，主要驱动因素来自人工智能(AI)、机器学习(ML)、高性 阅读全文

摘要： 真实标签的不完美性是机器学习领域一个不可避免的挑战。从科学测量数据到深度学习模型训练中的人工标注，真实标签总是包含一定比例的错误。即使像ImageNet这样精心策划的图像数据集，其人工标注的错误率仍达0.3%。在这种情况下，如何准确评估预测模型的性能就成为一个关键问题。本文将深入探讨如何在考虑测试数 阅读全文

摘要： 视频作为一种富含信息且密集的媒介，已广泛应用于娱乐、社交媒体、安全监控和自动驾驶等领域。人类能够轻松理解视频内容，例如理解因果关系、定位特定时刻以及关联动作。但是人工智能，尤其是大型语言模型（LLM）及其多模态（MLLM）变体，在视频理解方面仍然面临挑战，尤其是在处理长视频时。尽管像 GPT-4V 阅读全文

摘要： 生成对抗网络(GANs)的训练效果很大程度上取决于其损失函数的选择。本研究首先介绍经典GAN损失函数的理论基础，随后使用PyTorch实现包括原始GAN、最小二乘GAN(LS-GAN)、Wasserstein GAN(WGAN)及带梯度惩罚的WGAN(WGAN-GP)在内的多种损失函数。生成对抗网络 阅读全文

摘要： 在人工智能技术快速迭代发展的背景下，大语言模型（LLMs）已成为自然语言处理与生成领域的核心技术。然而，将这些模型与人类偏好精确对齐并增强其复杂推理能力的挑战，促使研究者开发了一系列复杂的强化学习（RL）技术。DAPO（解耦裁剪和动态采样策略优化，Decoupled Clip and Dynamic 阅读全文

摘要： 近年来，人工智能领域在多模态表示学习方面取得了显著进展，这类模型通过统一框架理解并整合不同数据类型间的语义信息，特别是图像与文本之间的关联性。在此领域具有里程碑意义的模型包括OpenAI提出的CLIP（Contrastive Language-Image Pre-training，对比语言-图像预训 阅读全文

摘要： SWEET-RL（Step-WisE Evaluation from Training-time information，基于训练时信息的逐步评估）是多轮大型语言模型（LLM）代理强化学习领域的重要技术进展。该算法相较于现有最先进的方法，成功率提升了6%，使Llama-3.1-8B等小型开源模型能够 阅读全文