随笔分类 - 机器学习
摘要：一、为什么要正则化 学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。正则化(regularization)技术，可以改善或者减少过度拟合问题，进而增强泛化能力。泛化误差（
阅读全文
摘要：在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布（i.i.d，independently and identically distributed），即当前已产生的数据可以对未来的数据进行推测与模拟，因此都是使用历史数据建立模型，即使用已经产生的数据去训练，然后使用该
阅读全文
摘要：在机器学习的核心内容就是把数据喂给一个人工设计的模型，然后让模型自动的“学习”，从而优化模型自身的各种参数，最终使得在某一组参数下该模型能够最佳的匹配该学习任务。那么这个“学习”的过程就是机器学习算法的关键。梯度下降法就是实现该“学习”过程的一种最常见的方式，尤其是在深度学习(神经网络)模型中，BP
阅读全文
摘要：1、激活函数的概念 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数Activation Func
阅读全文
摘要：一、简介 卷积神经网络是近年发展起来的，并引起广泛重视的一种高效识别方法，20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Network
阅读全文
摘要：1、TF-IDF算法介绍及名词解释 TF-IDF（Term Frequency–Inverse Document Frequency，词频-逆向文件频率）是一种用于信息检索、文本处理、数据挖掘等领域的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的
阅读全文
摘要：简介 LSTM(Long short-term memory,长短期记忆)是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失问题。以下先从RNN介绍。 简说RNN RNN(Recurrent Neural Network,循环神经网络)是一种处理序列数据的神经网络。下图是它的结构： RNN
阅读全文
摘要：1、RNN模型结构 循环神经网络RNN（Recurrent Neural Network）会记忆之前的信息，并利用之前的信息影响后面结点的输出。也就是说，循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上时刻隐藏层的输出。下图为RNN模型结构图： 2、RNN前向传播
阅读全文
摘要：1. 前言 循环神经网络（recurrent neural network）源自于1982年由Saratha Sathasivam 提出的霍普菲尔德网络。 传统的机器学习算法非常依赖于人工提取的特征，使得基于传统机器学习的图像识别、语音识别以及自然语言处理等问题存在特征提取的瓶颈。而基于全连接神经网
阅读全文
摘要：监督学习是从标注数据中学习模型的机器学习问题，是统计学习或机器学习的重要组成部分。赫尔伯特·西蒙（Herbert A. Simon)曾对“学习”给出以下定义：“如果一个系统能够通过执行某个过程改进它的性能，这就是学习。”按照这一观点，统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习
阅读全文
浙公网安备 33010602011771号