随笔分类 - 深度学习&机器学习&机器学习
摘要：# 1 认识模型融合 在机器学习竞赛界，流传着一句话：**当一切都无效的时候，选择模型融合**。这句话出自一位史上最年轻的Kaggle Master之口，无疑是彰显了模型融合这一技巧在整个机器学习世界的地位。如果说机器学习是人工智能技术中的王后，集成学习(ensemble Learning)就是王后
阅读全文
摘要：# 1 XGBoost的基础思想与实现 ## 1.1 XGBoost pk 梯度提升树 极限提升树XGBoost(Extreme Gradient Boosting，XGB，发音/æks-g-boost/)是基于梯度提升树GBDT全面升级的新一代提升算法，也是提升家族中最富盛名、最灵活、最被机器学习
阅读全文
摘要：上一个博客AdaBoost算法只能说是开山鼻祖，今天要说的这个GBDT才是Boosting领域里面最为强大的算法之一。XGBoost和LightGBM也是在这个算法的基础上进行改进。 # 1 梯度提升树的基本思想 梯度提升树（Gradient Boosting Decision Tree，GBDT）
阅读全文
摘要：# 1 Boosting方法的基本思想 在集成学习的“弱分类器集成”领域，除了降低方差来降低整体泛化误差的装袋法Bagging，还有专注于**降低整体偏差**来降低泛化误差的提升法Boosting。相比起操作简单、大道至简的Bagging算法，Boosting算法在操作和原理上的难度都更大，但由于专
阅读全文
摘要：集成学习是工业领域中应用最广泛的机器学习算法。实际工业环境下的数据量往往十分巨大，一个训练好的集成算法的复杂程度与训练数据量高度相关，因此企业在应用机器学习时通常会提供强大的计算资源作为支持，也因此当代的大部分集成算法都是支持GPU运算的（相对的，如果你发现一个算法在任何机器学习库中，都没有接入GP
阅读全文
摘要：# 1 数据介绍  首先看看这个数据，是从2005年到2008年的每一个小时的电力消耗值。 # 2 实现
阅读全文
摘要：sklearn在2022年进行了一次大的更新。 这里我们跟新的时候要先更新pip: ``` pip install --upgrade scikit-learn ``` # 1 集成学习的三大关键领域 集成学习（Ensemble learning）是机器学习中最先进、最有效、最具研究价值的领域之一，
阅读全文
摘要：ReLU激活函数只能在隐藏层中使用。 Sigmoid/Logistic和Tanh函数不应该用于隐藏层，因为它们会在训练过程中引起问题。 Swish函数用于深度大于40层的神经网络会好很多。 输出层的激活函数是由你要解决的预测问题的类型决定的。以下是一些需要记住的基本原则: 回归-线性激活函数 二元分
阅读全文
摘要：本文主要利用LSTM和CNN来处理移动传感器产生的数据识别人类活动。 # 传感器数据集 ## 数据组成 这个项目使用了 [WISDM (Wireless Sensor Data Mining) Lab](https://www.cis.fordham.edu/wisdm/ "WISDM (Wirel
阅读全文
摘要：# 1.手写数字识别   df_excel.head() #加载text数据 df_text=pd.read_table('') df_text.h
阅读全文
摘要：# LSTM的产生 我们之前在求RNN的loss的时候很容易出现梯度弥散或者梯度爆炸。这个LSTM的出现很大程度上减少了梯度弥散的情况。  要想实现这个结构有两种方案： Simpl
阅读全文
摘要：# 循环神经网络 Sentiment Analysis（情感分析）  类似于淘宝的好评还是差评，我们比较直
阅读全文
摘要：在自然界中除了位置相关的信息（图片）以外，还用一种存在非常广泛的类型，就是时间轴上的数据，比如说序列信号，语音信号，聊天文字。就是有先后顺序。 对于下面这个： 不如说我们输入有10个句子，每个句子都有4个单词，然后我们怎么把这些句子转化为具体的数值呢。如果一个表示方法能够很好的表示这个单词的特性的话
阅读全文
摘要：# 1 ResNet  我们是实验发现在我们堆叠更多的网络结构的时候，我们并不能又一个很好的结果，就是它
阅读全文
摘要：我们发现这个sigmoid函数在小于-4或者大于4的时候他的导数趋近于0。然后我们送进去的input的值在[-100,100]之间，这样很容易引起梯度弥散的现象。所以我们一般情况下使用ReLU函数，但是我们有时候又不得不使用sigmoid函数。这个时候我们在送到下一层的时候我们应该先经过Normal
阅读全文
摘要： # LeNet-5 
浙公网安备 33010602011771号