随笔分类 - 4_机器学习书籍及杂（西瓜书、机器学习实战、统计学习方法、百面机器学习等）
摘要：《python深度学习》笔记 3.6、预测房价：回归问题 一、总结 一句话总结： (404, 13)对应模型输入是13维度：因为train_data的结构是(404, 13)，也就是13维，所以模型输入维度就是13维 输出层一个神经元拟合任何数：因为是回归问题，所以输出层就是只有一个神经元的dens
阅读全文
摘要：《python深度学习》笔记 3.5、路透社数据集：多分类问题 一、总结 一句话总结： 对于文字分类，可以转化为类似one_hot的方式，也就是单词数字对应的位置为1 def vectorize_sequences(sequences, dimension=10000): results = np.
阅读全文
摘要：《python深度学习》笔记 3.4-2、(a)电影评论分类：二分类问题 一、总结 一句话总结： 输入模型的数据转化：电影评论分类-二分类问题要注意输入模型的数据转化： 把出现的单词对应的数字的位置标为1：将数据集中的每条数据采用类似one_hot编码的方式，就是把出现这个单词的位置的编号这里的数置
阅读全文
摘要：《python深度学习》笔记 3.4、电影评论分类：二分类问题 一、总结 一句话总结： binary_crossentropy损失函数：对于二分类问题的 sigmoid 标量输出，你应该使用 binary_crossentropy 损失函数。 不是越训练越好：随着神经网络在训练数据上的表现越来越好，
阅读全文
摘要：《python深度学习》笔记 3.2-3.3、Keras 简介 一、总结 一句话总结： 不处理张量操作：Keras 是一个模型级（model-level）的库，为开发深度学习模型提供了高层次的构建模块。 它不处理张量操作、求微分等低层次的运算 Keras张量操作由后端引擎实现：Keras 有三个后端
阅读全文
摘要：CTC（Connectionist Temporal Classification）介绍 一、总结 一句话总结： CTC，Connectionist Temporal Classification，用来解决输入序列和输出序列难以一一对应的问题。 二、CTC（Connectionist Tempora
阅读全文
摘要：《python深度学习》笔记 3.1、神经网络剖析 一、总结 一句话总结： |||-being 训练神经网络主要围绕以下四个方面，构建好架构，还是非常简单的 |||-end 层，多个层组合成网络（或模型）。 输入数据和相应的目标。 损失函数，即用于学习的反馈信号。 优化器，决定学习过程如何进行。 1
阅读全文
摘要：《python深度学习》笔记 2.4、神经网络的“引擎”：基于梯度的优化 一、总结 一句话总结： 其实真的比较简单，就是损失函数，然后前向传播，反向传播 1、随机初始化（random initialization）？ 较小随机数：一开始，这些权重矩阵取较小的随机值，这一步叫作随机初始化（random
阅读全文
摘要：《python深度学习》笔记 2.1-2.3、神经网络的数学基础 一、总结 一句话总结： 神经网络由张量表示：前面讲过，神经网络完全由一系列张量运算组成，而这些张量运算都只是输入数据的几何 变换。 高维空间复杂变换：因此，你可以将神经网络解释为高维空间中非常复杂的几何变换，这种变换可以通过许 多简单
阅读全文
摘要：《python深度学习》笔记 1.3、为什么是深度学习，为什么是现在 一、总结 一句话总结： 深度学习近些年投资特别多，而且目前没有迹象表明这种趋势会在短期内放缓，所以搞这行一定可以赚到很多钱 1、有时候，大事件都是从游戏 开始的？ NVIDIA和AMD等公司投资数十亿美元：在20 世纪前十年里，N
阅读全文
摘要：XGBoost是什么 一、总结 一句话总结： Gradient Boosting Decision Tree：XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。 X (
阅读全文
摘要：梯度提升决策树 算法过程 一、总结 一句话总结： 弱分类器拟合残差：GBDT的原理很简单，就是所有弱分类器的结果相加等于预测值，然后下一个弱分类器去拟合误差函数对预测值的残差(这个残差就是预测值与真实值之间的误差)。当然了，它里面的弱分类器的表现形式就是各棵树。 1、Boosting思想？ 串行：B
阅读全文
摘要：集成方法中的梯度提升回归树（梯度提升机）模型 一、总结 一句话总结： 合并多个决策树：梯度提升回归树是另一种集成方法，通过合并多个决策树来构建一个更为强大的模型。 回归和分类：虽然名字中含有“回归”，但这个模型既可以用于回归也可以用于分类。 每颗树都试图纠正前一棵树的错误：与随机森林方法不同，梯度提
阅读全文
摘要：《python深度学习》笔记 1.2、深度学习之前：机器学习简史 一、总结 一句话总结： 梯 度提升机用于处理结构化数据的问题，而深度学习则用于图像分类等感知问题。 1、概率建模（probabilistic modeling）？ 就是概率模型，比如朴素贝叶斯：概率建模（probabilistic m
阅读全文
摘要：《python深度学习》笔记 1.1、人工智能、机器学习与深度学习 一、总结 一句话总结： 人工智能包含机器学习，机器学习包含深度学习 系统看看书，体系比较清晰 1、从噪声中识别出信号？ 从噪声中识别出信号：对于未来或当前的机器学习从业者来说，重要的是能够从噪声中识别出信号，从而在过度炒作的新闻稿中
阅读全文
摘要：线性回归 逻辑回归 分类问题的区别 一、总结 一句话总结： 回归算法：线性回归是一种基本的回归算法，当给出相应的训练集后，通过线性回归来寻找合适参数θ（向量）使得Hypothesis函数的Cost function最小。 分类算法：逻辑回归是一个分类算法，逻辑回归的Hypothesis和线性回归非常
阅读全文
摘要：逻辑回归和线性回归区别 一、总结 一句话总结： 因变量不同：logistic回归与线性回归实际上有很多相同之处，最大的区别就在于他们的因变量不同，其他的基本都差不多，正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。 二项分布：logist
阅读全文
摘要：200927_深度学习 4、Where does the error come from（偏差和方差） 一、总结 一句话总结： error due to "bias"（偏差） and error due to "variance"（方差） 1、简单函数（比如1次）和复杂函数（比如5次）得到的vari
阅读全文
摘要：200927_深度学习 1-3、Meta Learning（杂） 一、总结 一句话总结： Meta Learning=Learn to learn，从其它数据集上获取先验数据，以便用少量数据（实际情况很多都是这样）可以得到很好效果 1、discriminator可以做生成么？ discriminat
阅读全文
摘要：为什么Regularization可以解决过拟合 一、总结 一句话总结： Regularization是把参数w加到loss里面去，而y=wx+b，参数越小，y越平滑 也就是y对x越不敏感，自然可以解决x本身噪声带来的影响（也就是去除特别数据带来的影响），也就自然越接近真实模型 1、正则化loss算
阅读全文
浙公网安备 33010602011771号