deephub

摘要： 对于大型模型来说，重新训练所有模型参数的全微调变得不可行。比如GPT-3 175B，模型包含175B个参数吗，无论是微调训练和模型部署，都是不可能的事。所以Microsoft 提出了低秩自适应(Low-Rank Adaptation, LoRA)，它冻结了预先训练好的模型权重，并将可训练的秩的分解矩 阅读全文

摘要： GitHub Copilot 是一款由 GitHub 和 OpenAI 共同开发的人工智能编程助手。它是一种基于机器学习的代码自动完成工具，旨在帮助开发人员更高效地编写代码。 GitHub Copilot Chat是GitHub Copilot的一部分，它是一个基于人工智能的编程助手，由OpenAI 阅读全文

摘要： LayerNorm 一直是 Transformer 架构的重要组成部分。如果问大多人为什么要 LayerNorm，一般的回答是：使用 LayerNorm 来归一化前向传播的激活和反向传播的梯度。 其实这只是部分正确：Brody、Alon 和 Yahav 的一篇题为“On the Expressivi 阅读全文

摘要： 数据汇总是一个将原始数据简化为其主要成分或特征的过程，使其更容易理解、可视化和分析。本文介绍总结数据的七种重要方法，有助于理解数据实质的内容。 1、集中趋势:平均值，中位数，众数 集中趋势是一种统计测量，目的是确认最典型的个体，找到最能够代表整个组的单个数值。它可以提供对数据集中“典型”数据点的准确 阅读全文

摘要： 鲁棒主成分分析(Robust Principal Component Analysis, RobustPCA)是一种将时间序列矩阵分解为低秩分量和稀疏分量的技术。这种分解能够识别潜在的趋势，以及检测异常和异常值。在本中我们将研究RobustPCA的数学基础，介绍它与传统的PCA之间的区别，并提供可视 阅读全文

摘要： 如果你对自监督学习感兴趣，可能听说过Facebook人工智能的DINO(无标签知识蒸馏)。我们在以前的文章中也介绍过它。DINOv2不仅是一个新版本而且带来了新的改进，并为判别性自监督学习设定了更高的标准。当然公司的名字也从Facebook变为了Meta。 本文将介绍DINOv2是如何改进的，以及这 阅读全文

摘要： 形态学是图像处理领域的一个分支，主要用于描述和处理图像中的形状和结构。形态学可以用于提取图像中的特征、消除噪声、改变图像的形状等。其中形态学的核心操作是形态学运算。 形态学运算是一种基于形状的图像处理技术，它是通过结构元素与图像进行特定运算的方式来改变图像的形态和特征。结构元素是一种小型、预定义的形 阅读全文

摘要： Softmax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。其本质上是一种归一化函数，可以将一组任意的实数值转化为在[0, 1]之间的概率值，因为softmax将它们转换为0到1之间的值，所以它们可以被解释为概率。如果其中一个输入很小或为负，softmax将其变为小概率，如果输入很 阅读全文

摘要： 在本文中，我们将介绍在 Reacher 环境中训练智能代理控制双关节机械臂，这是一种使用 Unity ML-Agents 工具包开发的基于 Unity 的模拟程序。 我们的目标是高精度的到达目标位置，所以这里我们可以使用专为连续状态和动作空间设计的最先进的Deep Deterministic Pol 阅读全文

摘要： 人工智能已成为近年来最受关注的话题之一，由于神经网络的发展，曾经被认为纯粹是科幻小说中的服务现在正在成为现实。从对话代理到媒体内容生成，人工智能正在改变我们与技术互动的方式。特别是机器学习 (ML) 模型在自然语言处理 (NLP) 领域取得了重大进展。一个关键的突破是引入了“自注意力”和用于序列处理 阅读全文