2024年12月18日
深度学习基础理论————学习率优化方法(AdaGrad/RMSprop/Adam/Warm-UP)
摘要： 学习率基础[1] 学习率（Learning Rate）在优化算法，尤其是梯度下降和其变体中，扮演着至关重要的角色。它影响着模型训练的速度和稳定性，并且是实现模型优化的关键参数之一。 如何理解呢？ 在统计学中，线性方程的优化过程通常包括以下步骤： 构建方程：定义一个模型，例如线性方程 (y = wx 阅读全文
posted @ 2024-12-18 17:40 Big-Yellow-J 阅读(1143) 评论(0) 推荐(1)
深度学习基础理论————"优化"方法(归一化/dropout)
摘要： 深度学习基础理论————"优化"方法(归一化/dropout) 1、归一化方法（LayerNorm/BatchNorm/GroupNorm） 归一化层是深度神经网络体系结构中的关键，在训练过程中确保各层的输入分布一致，这对于高效和稳定的学习至关重要。归一化技术的选择（Batch, Layer, Gr 阅读全文
posted @ 2024-12-18 17:39 Big-Yellow-J 阅读(345) 评论(0) 推荐(0)
2024年8月27日
DocumentAI——DocKylin
摘要： DocKylin: A Large Multimodal Model for Visual Document Understanding with Efficient Visual Slimming http://arxiv.org/abs/2406.19101 现存的文档理解多模态模型面临3个主要 阅读全文
posted @ 2024-08-27 17:29 Big-Yellow-J 阅读(131) 评论(0) 推荐(0)
2024年3月1日
图神经网络基础理论及实操
摘要： 图神经网络基础理论及实操 持续更新ing.............. 推荐阅读： 1、https://github.com/PacktPublishing/Hands-On-Graph-Neural-Networks-Using-Python 2、GAT：http://arxiv.org/abs/1 阅读全文
posted @ 2024-03-01 15:09 Big-Yellow-J 阅读(1573) 评论(0) 推荐(1)
2024年2月24日
各类LLM模型分析比较
摘要： Large Language Model 模型对比 对于 LLM模型框架主要如下3类[1]：1、autoregressive，2、autoencoding，3、encoder-decoder。主要对3类结构以及部分细节进行阐述。（对于框架分类其实多种，在此论文中[2]采用的是双向/单向结构） TOD 阅读全文
posted @ 2024-02-24 21:35 Big-Yellow-J 阅读(746) 评论(0) 推荐(0)
论文《Attention is all you need》阅读笔记
摘要： title: Attention is all you need阅读笔记 categories: - 深度学习 tags: - 基础算法 - 深度学习 mathjax: true Attention is all you need Transformer模型 Model Architecture T 阅读全文
posted @ 2024-02-24 21:33 Big-Yellow-J 阅读(229) 评论(0) 推荐(0)
机器学习可解释性--LIME
摘要： title: 机器学习可解释性--LIME categories: - 机器学习 tags: - 机器学习 - 文献笔记 - 机器学习可解释性 mathjax: true A Unified Approach to Interpreting Model Predictions trusting a 阅读全文
posted @ 2024-02-24 21:32 Big-Yellow-J 阅读(548) 评论(0) 推荐(0)
机器学习可解释性--shapvalue
摘要： title: 机器学习可解释性--SHAP categories: - 机器学习 tags: - 机器学习 - 文献笔记 - 机器学习可解释性 mathjax: true abbrlink: 5bf8429 A Unified Approach to Interpreting Model Predi 阅读全文
posted @ 2024-02-24 21:32 Big-Yellow-J 阅读(676) 评论(0) 推荐(0)
图像识别算法--VGG16
摘要： title: 图像识别算法--VGG16 categories: - 文献笔记 tags: - 图像识别 - 深度学习 mathjax: true 前言：人类科技就是不断烧开水（发电）、丢石头（航天等）。深度学习就是一个不断解方程的过程（参数量格外大的方程） 本文内容： 1、介绍VGG16基本原理 阅读全文
posted @ 2024-02-24 21:30 Big-Yellow-J 阅读(1031) 评论(0) 推荐(0)
图神经网络基础理论及实操
摘要： 图神经网络基础理论及实操 推荐阅读： 1、https://github.com/PacktPublishing/Hands-On-Graph-Neural-Networks-Using-Python 2、GAT：http://arxiv.org/abs/1710.10903 3、GCN：http:/ 阅读全文
posted @ 2024-02-24 21:26 Big-Yellow-J 阅读(737) 评论(0) 推荐(0)
levels of contents