高空降落

摘要： Attention的原理已经有很多介绍了，实现的伪代码参照transformer，下面写了最简单的版本 import torch, math from torch import nn dropout_prob = 0.1 def forward( hidden_size, # d input, #( 阅读全文

摘要： 转：https://mp.weixin.qq.com/s/pkAFDnxYYFlOfY1q2MLsfQ 目前Transformer已经成为各个领域（文本，图像，语音）最常用的模型架构，PyTorch 2.0也进一步对Transformer模块进行了优化，以支持Tranformer结构模型的高效训练和 阅读全文

摘要： 转：https://huggingface.co/blog/zh/dpo-trl 简介 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模 阅读全文

摘要： # 结点类 class node: def __init__(self, ch): self.ch = ch # 结点值 self.fail = None # Fail指针 self.tail = 0 # 尾标志：标志为 i 表示第 i 个模式串串尾 self.child = [] # 子结点 se 阅读全文

摘要： cuda和tensorflow的版本有对应关系 https://tensorflow.google.cn/install/source linux 阅读全文

摘要： 分类与预测 分类主要是预测分类标号（离散属性），预测是建立连续值函数模型，预测给定自变量的因变量的值。 常用的分类与预测算法 | 算法名称 | 算法简介 | | : | : | | 回归分析 | 回归分析是确定预测属性（数值型）与其他变量间相互依赖的定量关系最常用的统计学方法。包括线性回归，非线性回 阅读全文

摘要： 在数据挖掘过程中，数据预处理工作量占到整个过程的60%。 数据清洗 缺失值处理 1. 删除记录 2. 数据插补 3. 不处理 异常值处理 1. 删除含有异常值的记录 2. 视为缺失值 3. 平均值修正 4. 不处理 很多情况下，要先分析异常值出现的可能原因，再判断异常值是否应该舍弃，如果是正确数据， 阅读全文

摘要： 通过检验数据集的数据质量，绘制图表、计算某些特征量等手段，对样本数据集的结构和规律进行分析的过程就是数据探索。 数据质量分析 是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础，没有有效的数据，数据挖掘构建的模型就是空中楼阁。 缺失值分析 缺失值产生的原因 缺失值的影响 缺失值的分析：缺失 阅读全文

摘要： 回归分析 相关分析是分析变量间的相关程度，具有相关关系的变量可以通过建立模型来分析它们之间的相互关系，这个过程称为回归分析。 相关程度：完全相关、不完全相关和不相关。完全相关的关系可以找到一个函数表达。 相关方向：正相关和负相关 相关形式：线性相关和非线性相关 回归分析 回归分析是通过建立回归模型来 阅读全文

摘要： 转载：http://www.matrix67.com/blog/archives/105 这或许是众多OIer最大的误区之一。 你会经常看到网上出现“这怎么做，这不是NP问题吗”、“这个只有搜了，这已经被证明是NP问题了”之类的话。你要知道，大多数人此时所说的NP问题其实都是指的NPC问题。他们没有 阅读全文