随笔分类 - python 人工智能
摘要：深度学习的数学基础 微积分 无穷小在17世纪下半叶，数学史上出现了无穷小的概念，而后发展处极限的概念 极限 数列的极限 函数的极限 导数 微分 积分 不定积分也称为原函数或反导数 定积分 定积分中值定理 牛顿-莱布尼茨公式 偏导数 概率统计 样本空间定义：随机试验 E 的所有结果构成的集合称为 E
阅读全文
摘要：1.简介 决策树（decision tree）：是一种基本的分类与回归方法 决策树学习的目标：根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确的分类 决策树学习的本质：从训练集中归纳出一组分类规则，或者说是由训练数据集估计条件概率模型 决策树学习的损失函数：正则化的极大似然函数 决策树
阅读全文
摘要：1.简介 logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域 例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率 2.概念 logistic回归是一种广义线性回归（generalized linear model）
阅读全文
摘要：1.tf.clip_by_value 将一个张量中的数值限制在一个范围内 常用：避免一些运算错误（比如log0是无效的） cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0))) 2.tf.where() wher
阅读全文
摘要：1.交叉熵 它描述两个概率分布之间的距离，当交叉熵小时说明两者之间越接近，它是分类问题中使用比较广的一种损失函数 2.回归问题中常用的均方误差MSE 回归问题解决的是具体数值的预测，比如放假预测、销售预测等都是回归问题，这些问题需要预测的不是一个事先定义好的类别，而是一个任意的实数， 解决回归问题的
阅读全文
摘要：1.梯度下降法(Gradient Descent) 梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法： 标准梯度下降法(GD, Gradient Descent) 随机梯度下降法(SGD, Stochastic Gradient Descent) 批量梯度下降法(BGD, Batch Gr
阅读全文
摘要：1.理论 双向循环神经网络（BRNN）的基本思想是提出每一个训练序列向前和向后分别是两个循环神经网络（RNN），而且这两个都连接着一个输出层。 这个结构提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息 六个独特的权值在每一个时步被重复的利用，六个权值分别对应：输入到向前和向后隐含层（w1
阅读全文
摘要：1.基本理论 双向 RNN 结合时间上从序列起点开始移动的 RNN 和另一个时间上从序列末尾开始移动的 RNN 2.逻辑图 其中 h (t) 代表通过时间向前移动的子 RNN 的状态，g (t) 代表通过时间向后移动的子 RNN 的状态 允许输出单元 o (t) 能够计算同时依赖于过去和未来且对时刻
阅读全文
摘要：1.卷积运算 卷积的第一个参数（在这个例子中，函数 x）通常叫做输入（input），第二个参数（函数 w）叫做核函数（kernel function）。 输出有时被称作特征映射（feature map） 2.动机 卷积运算通过三个重要的思想来帮助改进机器学习系统： 稀疏交互（sparseintera
阅读全文
摘要：1.深度前馈网络 定义了一个映射 y = f(x;θ)，并且学习参数 θ 的值，使它能够得到最佳的函数近似 2.这种模型被称为前向（feedforward） 在模型的输出和模型本身之间没有反馈（feedback）连接 3.深度（depth） 模型的层数 4.隐藏层（hidden layer） 隐藏层
阅读全文
摘要：1.https://blog.csdn.net/juanjuan1314/article/details/77801233 http://www.liangchan.net/soft/softdown.asp?softid=8867
阅读全文
摘要：一 简介： LSTM算法的全称是长短期记忆网络（long short–term memory），由LSTM算法对标准的RNN进行的改进，它规避了标准的RNN中的梯度爆炸和梯度消失的问题，学习速度更快。 二 原理 lstm 结构： 一个一个神经元首尾相接，同一层会把前面单元的输出作为后面单元的输入，前
阅读全文
浙公网安备 33010602011771号