摘要：本文主要包括： 一、什么是LSTM 二、LSTM的曲线拟合 三、LSTM的分类问题 四、为什么LSTM有助于消除梯度消失 一、什么是LSTM Long Short Term 网络即为LSTM，是一种循环神经网络（RNN），可以学习长期依赖问题。RNN 都具有一种重复神经网络模块的链式的形式。在标准的 阅读全文

摘要：一、动态内存管理 通常我们创建动态内存的时候，需要自己管理好内存，也就是说，new出来的对象一定要注意释放掉。下面通过例子可以看到这个问题所在： 我们通过Qt中的Clang Static Analyzer的源码分析工具，可以检测到内存问题： 因此，对应的new 出来的动态内存要注意释放掉， 如上即可 阅读全文

摘要：只要模型是一层一层的，并使用AD/BP算法，就能称作 BP神经网络。RBF 神经网络是其中一个特例。本文主要包括以下内容： 什么是径向基函数 RBF神经网络 RBF神经网络的学习问题 RBF神经网络与BP神经网络的区别 RBF神经网络与SVM的区别 为什么高斯核函数就是映射到高维区间 前馈网络、递归 阅读全文

摘要：今天遇到一个问题，即在C/C++中，关于在函数里对指针赋值的问题。首先可以看到如下现象： 这个结果令我有点吃惊，我一直以为传递指针，赋值完这个指针也会变的，没想到其实指针也是一个变量，我们如果要改变它，必须找到它在内存中的地址，也就是指针的地址。也就是说，对于函数中，如果对指针的地址进行赋值，事实上 阅读全文

摘要：一、什么是二叉树 二叉树是每个结点最多有两个子树的树结构，二叉树是递归定义的，其结点有左右子树之分，通常包含：满二叉树、完全二叉树、霍夫曼树、平衡二叉树、红黑树等。 满二叉树：如果二叉树中所有分支结点的度数都为2，并且叶子结点都在统一层次上，则二叉树为满二叉树，从图形形态上看，满二叉树外观上是一个三 阅读全文

摘要：本文主要包含以下内容： 一、什么是正则化 二、参数范数模型 2.1 L1正则和L2正则 2.2 为什么通过L1正则、L2正则能够防止过拟合 2.3 L2正则的表现 2.4 L1正则化为什么会产生稀疏解 2.5 L2正则为什么求解比较稳定 三、Dropout和集成方法 3.1 Dropout 3.2 阅读全文

摘要：GBDT通过多轮迭代,每轮迭代产生一个弱分类器，其中弱分类器通常选择为CART树，每个分类器在上一轮分类器的残差基础上进行训练。 对于GBDT算法，其中重要的知识点为： 1、GBDT是梯度下降法从参数空间上升到函数空间的算法 2、其属于集成算法Boosting 3、损失函数的构造 一、GBDT损失函 阅读全文