JackYang - 博客园

2024年6月5日

摘要：前馈神经网络（Feed-Forward Neural Network，简称FNN）是一种基本且广泛应用的人工神经网络结构。以下是关于前馈神经网络的详细解释： 1. 定义与结构定义：前馈神经网络是最简单的一种神经网络，其各神经元分层排列，每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下阅读全文

posted @ 2024-06-05 09:02 JackYang 阅读(2342) 评论(0) 推荐(0)

自适应梯度算法AdaGrad（Adaptive Gradient Algorithm）

摘要：起源： AdaGrad（Adaptive Gradient Algorithm）起源于对深度学习训练过程中学习率自适应调整的需求。传统的梯度下降方法使用固定的学习率，但在实际训练过程中，不同的参数可能需要不同的学习率来进行更新。AdaGrad就是为了解决这一问题而提出的。定义： AdaGrad是一阅读全文

posted @ 2024-06-05 00:52 JackYang 阅读(801) 评论(0) 推荐(0)

梯度下降法Gradient Descent中如何选择合适的学习率

摘要：在梯度下降法中，学习率（learning rate）的选择对算法的性能和结果具有至关重要的影响。以下是选择合适学习率的一些建议和策略：初始猜测：通常会先从一个较小的学习率开始尝试，如0.01，然后根据迭代效果和收敛速度进行调整。另一种常见的方法是尝试一系列呈指数增长的学习率，例如0.001, 0 阅读全文

posted @ 2024-06-05 00:29 JackYang 阅读(388) 评论(0) 推荐(0)

2024年6月4日

梯度下降法（Gradient Descent）

摘要：起源梯度下降法（Gradient Descent）是一种优化算法，其起源可以追溯到微积分学中的梯度概念。在机器学习和深度学习领域，为了找到损失函数的最小值，研究者们提出了多种优化算法，其中梯度下降法是最基础和最常用的方法之一。定义梯度下降法是一种迭代优化算法，用于求解函数的局部最小值。它通过迭阅读全文

posted @ 2024-06-04 22:04 JackYang 阅读(543) 评论(0) 推荐(0)

随机搜索（Random Search）

摘要：起源随机搜索的起源可以追溯到1963年，由Rastrigin在他的文章《The convergence of the random search method in the extremal control of a many parameter system》中首次提出。这篇文章对随机搜索进行了阅读全文

posted @ 2024-06-04 21:45 JackYang 阅读(785) 评论(0) 推荐(0)

推荐实验验证时如何设置合适的采样策略

摘要：实验验证时设置合适的采样策略，需要综合考虑数据集的特性和模型的需求。以下是一些具体的步骤和建议，以帮助你制定合适的采样策略： 1. 数据集分析不平衡程度：首先分析数据集中各类别的样本数量比例，了解数据不平衡的程度。这可以通过统计各类别样本的数量来完成。样本分布：观察样本在特征空间中的分布，了解是否阅读全文

posted @ 2024-06-04 21:28 JackYang 阅读(118) 评论(0) 推荐(0)

推荐系统如何结合多种实时数据优化用户行为预测

摘要：结合多种实时数据优化用户行为预测是一个复杂但高效的过程，以下是一些建议的步骤和策略，旨在通过整合多种数据源来提高预测的准确性：1. 数据收集和整合来源广泛：从用户在网站上的浏览记录、购买记录、搜索记录，到社交媒体、移动应用等多个渠道收集数据。确保质量：在收集过程中，保证数据的质量和完整性，避免因为数阅读全文

posted @ 2024-06-04 12:45 JackYang 阅读(542) 评论(0) 推荐(0)

三角形的重点、垂心、内心

摘要：三角形的重点、垂心、内心是三角形的重要几何特性，它们在数学、几何学、以及实际应用中都有着重要的作用。下面我将分别介绍这三个点的起源、定义、引伸义、作用和使用场景。三角形的重心（重点）起源与定义：起源：三角形的重心概念源于几何学中对三角形内部特殊点的研究。定义：三角形的重心是三条中线的交点，中线是阅读全文

posted @ 2024-06-04 08:44 JackYang 阅读(698) 评论(0) 推荐(0)

RAG与其他生成技术相比有何优势

摘要： RAG与其他生成技术相比，具有以下优势：提高答案的准确性： RAG技术通过从外部知识库中检索相关信息，并将其与语言模型的生成能力结合，可以显著提升生成答案的准确性。这种准确性的提升尤其体现在知识密集型任务中，如专业领域的问答系统。相比于仅依赖语言模型进行生成的技术，RAG能够更好地结合事实和数据，阅读全文

posted @ 2024-06-04 07:56 JackYang 阅读(419) 评论(0) 推荐(0)

残差连接和层归一化如何提高GPT、文心一言等大模型的性能

摘要：残差连接（Residual Connections）和层归一化（Layer Normalization）在GPT等Transformer模型中起到了关键作用，它们显著提高了模型的性能和稳定性。以下是它们如何提升GPT性能的详细解释：残差连接 1. 缓解梯度消失问题：在深度神经网络中，随着网络层数的阅读全文

posted @ 2024-06-04 07:51 JackYang 阅读(355) 评论(0) 推荐(0)