架构设计类与算法 - 随笔分类(第2页) - JackYang

K近邻（K-Nearest Neighbors，简称KNN）算法

摘要：K近邻（K-Nearest Neighbors，简称KNN）算法是一种基本的机器学习算法，主要用于分类和回归问题。以下是对KNN算法的详细介绍： 1. 定义和原理定义：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。原理：基于类比原阅读全文

posted @ 2024-06-10 17:37 JackYang 阅读(731) 评论(0) 推荐(0)

C语言版本链表详解

摘要：前言链表（Linked List）是一种常见的数据结构，它允许我们动态地分配内存，并通过指针将元素链接在一起。在C语言中，链表通常通过结构体（struct）和指针来实现。下面，我将为你详细解释链表的基本概念以及如何在C语言中实现链表。链表的基本概念节点（Node）：链表中的每一个元素都称为一个阅读全文

posted @ 2024-06-07 17:07 JackYang 阅读(570) 评论(0) 推荐(0)

Supervised 、Unsupervised、Semi-supervised、Reinforcement

摘要：定义监督学习（Supervised Learning）监督学习是机器学习中最常见的一种学习方式。在这种学习方式中，我们有一组带有标签（label）的训练数据，比如一组图片和对应的分类标签（如“猫”、“狗”等）。算法的任务就是学习如何从输入数据中提取特征，并根据这些特征来预测标签。常见的监督学习算法阅读全文

posted @ 2024-06-07 00:21 JackYang 阅读(222) 评论(0) 推荐(0)

Tanimoto系数（Tanimoto Coefficient）

摘要：起源 Tanimoto系数，也被称为谷本系数或广义Jaccard相似系数，起源于化学信息学领域，用于比较分子和分子之间的相似度。其概念源于Jaccard系数，由Paul Jaccard在1901年首次提出，并在化学信息学中得到发展和应用。原理 Tanimoto系数基于集合论的概念，用于量化两个集合阅读全文

posted @ 2024-06-06 14:47 JackYang 阅读(3381) 评论(0) 推荐(1)

前馈神经网络（Feed-Forward Neural Network）

摘要：前馈神经网络（Feed-Forward Neural Network，简称FNN）是一种基本且广泛应用的人工神经网络结构。以下是关于前馈神经网络的详细解释： 1. 定义与结构定义：前馈神经网络是最简单的一种神经网络，其各神经元分层排列，每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下阅读全文

posted @ 2024-06-05 09:02 JackYang 阅读(2382) 评论(0) 推荐(0)

自适应梯度算法AdaGrad（Adaptive Gradient Algorithm）

摘要：起源： AdaGrad（Adaptive Gradient Algorithm）起源于对深度学习训练过程中学习率自适应调整的需求。传统的梯度下降方法使用固定的学习率，但在实际训练过程中，不同的参数可能需要不同的学习率来进行更新。AdaGrad就是为了解决这一问题而提出的。定义： AdaGrad是一阅读全文

posted @ 2024-06-05 00:52 JackYang 阅读(840) 评论(0) 推荐(0)

梯度下降法Gradient Descent中如何选择合适的学习率

摘要：在梯度下降法中，学习率（learning rate）的选择对算法的性能和结果具有至关重要的影响。以下是选择合适学习率的一些建议和策略：初始猜测：通常会先从一个较小的学习率开始尝试，如0.01，然后根据迭代效果和收敛速度进行调整。另一种常见的方法是尝试一系列呈指数增长的学习率，例如0.001, 0 阅读全文

posted @ 2024-06-05 00:29 JackYang 阅读(420) 评论(0) 推荐(0)

梯度下降法（Gradient Descent）

摘要：起源梯度下降法（Gradient Descent）是一种优化算法，其起源可以追溯到微积分学中的梯度概念。在机器学习和深度学习领域，为了找到损失函数的最小值，研究者们提出了多种优化算法，其中梯度下降法是最基础和最常用的方法之一。定义梯度下降法是一种迭代优化算法，用于求解函数的局部最小值。它通过迭阅读全文

posted @ 2024-06-04 22:04 JackYang 阅读(570) 评论(0) 推荐(0)

随机搜索（Random Search）

摘要：起源随机搜索的起源可以追溯到1963年，由Rastrigin在他的文章《The convergence of the random search method in the extremal control of a many parameter system》中首次提出。这篇文章对随机搜索进行了阅读全文

posted @ 2024-06-04 21:45 JackYang 阅读(818) 评论(0) 推荐(0)

推荐实验验证时如何设置合适的采样策略

摘要：实验验证时设置合适的采样策略，需要综合考虑数据集的特性和模型的需求。以下是一些具体的步骤和建议，以帮助你制定合适的采样策略： 1. 数据集分析不平衡程度：首先分析数据集中各类别的样本数量比例，了解数据不平衡的程度。这可以通过统计各类别样本的数量来完成。样本分布：观察样本在特征空间中的分布，了解是否阅读全文

posted @ 2024-06-04 21:28 JackYang 阅读(125) 评论(0) 推荐(0)

推荐系统如何结合多种实时数据优化用户行为预测

摘要：结合多种实时数据优化用户行为预测是一个复杂但高效的过程，以下是一些建议的步骤和策略，旨在通过整合多种数据源来提高预测的准确性：1. 数据收集和整合来源广泛：从用户在网站上的浏览记录、购买记录、搜索记录，到社交媒体、移动应用等多个渠道收集数据。确保质量：在收集过程中，保证数据的质量和完整性，避免因为数阅读全文

posted @ 2024-06-04 12:45 JackYang 阅读(551) 评论(0) 推荐(0)

RAG与其他生成技术相比有何优势

摘要：RAG与其他生成技术相比，具有以下优势：提高答案的准确性： RAG技术通过从外部知识库中检索相关信息，并将其与语言模型的生成能力结合，可以显著提升生成答案的准确性。这种准确性的提升尤其体现在知识密集型任务中，如专业领域的问答系统。相比于仅依赖语言模型进行生成的技术，RAG能够更好地结合事实和数据，阅读全文

posted @ 2024-06-04 07:56 JackYang 阅读(426) 评论(0) 推荐(0)

残差连接和层归一化如何提高GPT、文心一言等大模型的性能

摘要：残差连接（Residual Connections）和层归一化（Layer Normalization）在GPT等Transformer模型中起到了关键作用，它们显著提高了模型的性能和稳定性。以下是它们如何提升GPT性能的详细解释：残差连接 1. 缓解梯度消失问题：在深度神经网络中，随着网络层数的阅读全文

posted @ 2024-06-04 07:51 JackYang 阅读(363) 评论(0) 推荐(0)

检索增强生成（Retrieval-Augmented Generation）

摘要：起源 RAG起源于2020年Facebook的一篇论文：“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”。这项技术最初是为了解决知识密集型自然语言处理任务而提出的。定义RAG，全称Retrieval-Augmente 阅读全文

posted @ 2024-06-04 07:46 JackYang 阅读(1131) 评论(0) 推荐(0)

GPT 自注意力机制

摘要：GP的自注意力机制（Self-Attention Mechanism）是其核心组件之一，它为模型提供了理解和处理文本序列中单词间依赖关系的能力。以下是对GPT-3中自注意力机制的详细分析：1. 背景与目的GPT-3是一个基于Transformer架构的预训练语言模型，旨在通过大量无监督文本数据学习语阅读全文

posted @ 2024-06-04 01:19 JackYang 阅读(476) 评论(0) 推荐(0)

关于正弦和余弦函数在GPT中应用

摘要：在GPT（尤其是GPT-3及其后续版本）中，正弦和余弦函数在位置编码中起到了至关重要的作用，使得模型能够捕捉长距离依赖关系。以下是关于正弦和余弦函数在GPT中应用的详细解释：位置编码的引入：GPT等Transformer模型在处理序列数据时，由于自注意力机制（Self-Attention）的固有特性阅读全文

posted @ 2024-06-04 01:15 JackYang 阅读(238) 评论(0) 推荐(0)

正弦和余弦函数在GPT-3中起何作用

摘要：在GPT-3中，正弦和余弦函数在位置编码中起到了关键的作用。以下是关于正弦和余弦函数在GPT-3中作用的详细解释：1. 位置信息的编码GPT-3的Transformer架构本身并不包含输入序列中单词的顺序信息。为了弥补这一缺陷，GPT-3采用了位置编码的方式。作者将Token的位置（标量i，取值范围阅读全文

posted @ 2024-06-04 01:13 JackYang 阅读(104) 评论(0) 推荐(0)

GPT 3中正弦和余弦函数如何捕捉长距离依赖关系

摘要：在GPT-3中，正弦和余弦函数通过其周期性特性以及多个频率的组合，使得位置编码具有周期性且频率不同，从而能够有效地捕捉长距离依赖关系。具体来说，每个位置编码都由一系列的正弦和余弦函数生成，这些函数的频率是随着位置的不同而变化的。由于正弦和余弦函数的周期性，即使两个单词在序列中的距离很远，它们的位置编阅读全文

posted @ 2024-06-04 01:12 JackYang 阅读(58) 评论(0) 推荐(0)

监督学习在图像识别中有哪些具体应用

摘要：下面我为你详细列举并解释一下：交通监控车辆识别：通过摄像头捕捉到的交通图像，利用图像识别算法快速准确地识别出车辆的类型、颜色、牌照等信息，实现自动化的车辆管理。疲劳驾驶检测：通过对驾驶员的面部特征进行分析，判断驾驶员是否疲劳驾驶，及时提醒他们休息，减少交通事故的发生。交通违章监测：检测交通违章行阅读全文

posted @ 2024-06-04 00:58 JackYang 阅读(154) 评论(0) 推荐(0)

监督学习、无监督学习、半监督学习和强化学习

摘要：定义监督学习（Supervised Learning）监督学习是机器学习中最常见的一种学习方式。在这种学习方式中，我们有一组带有标签（label）的训练数据，比如一组图片和对应的分类标签（如“猫”、“狗”等）。算法的任务就是学习如何从输入数据中提取特征，并根据这些特征来预测标签。常见的监督学习算法阅读全文

posted @ 2024-06-04 00:52 JackYang 阅读(1048) 评论(0) 推荐(0)

随笔分类 - 架构设计类与算法