0

[一起面试AI]NO.7 常用梯度下降法与优化器都有什么?

常用梯度下降法与优化器 机器学习中大部分为优化问题,而绝大部分优化问题都可以使用「梯度下降法」处理。 梯度下降法的数学原理是函数沿着梯度方向具有「最大变化率」,那么在优化目标函数时沿着负梯度方向去减少函数值,以此达到优化目标。 通过迭代的方式寻找「最优参数」,最优参数是指是目标函数达到最小值时的参数 ...

飒白 发布于 2020-04-15 07:36 评论(0)阅读(48)
0

keras与卷积神经网络(CNN)实现识别mnist手写数字

在本篇博文当中,笔者采用了卷积神经网络来对手写数字进行识别,采用的神经网络的结构是:输入图片——卷积层——池化层——卷积层——池化层——卷积层——池化层——Flatten层——全连接层(64个神经元)——全连接层(500个神经元)——softmax函数,最后得到分类的结果。Flatten层用于将池化 ...

Geeksongs 发布于 2020-04-14 09:23 评论(0)阅读(142)
0

[一起面试AI]NO.6 偏差与方差

偏差度量了学习算法的期望与真实结果的偏差,刻画了算法本身的「拟合能力」,方差度量了同样大小的训练集的变动所导致的学习性能的变化。 偏差与方差 偏差用于描述模型的拟合能力,方差用来描述模型的稳定性。 当训练度不足的时候,偏差主导模型的泛化误差; 当训练进入后期,模型的拟合能力增强,方差主导模型的泛化误 ...

飒白 发布于 2020-04-14 07:53 评论(0)阅读(30)
0

数据集网站收集(可用于机器学习,数据挖掘等,持续更新)

数据集网站收集(持续更新) 1.Kaggle: "https://www.kaggle.com/" 可以按关键字搜索数据集 自带讨论区 有热心群众分享自己的Kernel,可供参考(热心群众们自己对数据的分析代码) 2.天池: "https://tianchi.aliyun.com/competiti ...

deepwzh 发布于 2020-04-13 23:45 评论(0)阅读(99)
0

神经网络中的Max pooling 和 Average pooling

在训练卷积神经网络模型时,经常遇到max pooling 和 average pooling,近些年的图像分类模型多数采用了max pooling,为什么都是使用max pooling,它的优势在哪呢? 一般情况下,max pooling的效果更好,虽然 max pooling 和 average ...

BooTurbo 发布于 2020-04-13 20:52 评论(0)阅读(87)
0

深度学习中的激活函数之 sigmoid、tanh和ReLU

三种非线性激活函数sigmoid、tanh、ReLU。 sigmoid: y = 1/(1 + e-x) tanh: y = (ex - e-x)/(ex + e-x) ReLU:y = max(0, x) 在隐藏层,tanh函数要优于sigmoid函数,可以看作是sigmoid的平移版本,优势在于 ...

BooTurbo 发布于 2020-04-13 20:01 评论(0)阅读(96)
0

机器学习相关数学基础

视频学习笔记 (1)概率论与贝叶斯先验 视频地址:https://www.bilibili.com/video/BV1Tb411H7uC?p=2 概率论基础 统计量 (2)概率论与贝叶斯先验 视频地址:https://www.bilibili.com/video/BV1Tb411H7uC?p=3 矩 ...

Raicho 发布于 2020-04-13 09:50 评论(0)阅读(48)
0

深度学习中的图像数据预处理——图像去均值(image mean or pixel mean)

首先引用下网上的解释: For a grayscale image, every pixel in the mean image is computed from the average of all corresponding pixels (i.e. same coordinates) acro ...

BooTurbo 发布于 2020-04-13 00:15 评论(0)阅读(310)
0

Ⅱ Finite Markov Decision Processes

(for pursue, do accumulation) 个人笔记,纯属佛系分享,如有错误,万望赐教。 马尔可夫决策过程(Markov Decision Processes, MDPs)是一种对序列决策问题的解决工具,在这种问题中,决策者以序列方式与环境交互。 1. “智能体-环境”交互的过程 首 ...

Hugh_Cai 发布于 2020-04-12 23:13 评论(0)阅读(75)
0

使用mask scoring RCNN训练自己的数据集

本文主要参考下面两篇博文,并在部分细节处做了修改。 https://blog.csdn.net/XX_123_1_RJ/article/details/102733175?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=d ...

小泰格儿 发布于 2020-04-11 15:56 评论(0)阅读(197)
0

Pytorch自动求解梯度

要理解Pytorch求解梯度,首先需要理解Pytorch当中的计算图的概念,在计算图当中每一个Variable都代表的一个节点,每一个节点就可以代表一个神经元,我们只有将变量放入节点当中才可以对节点当中的变量求解梯度,假设我们有一个矩阵: 1., 2., 3. 4., 5., 6. 我们将这个矩阵( ...

Geeksongs 发布于 2020-04-11 11:58 评论(0)阅读(27)
0

神经网络中的 Epochs, Batchsize, Iterations 具体是什么

在看神经网络相关的论文时,总是能看到Epochs, Batchsize, Iterations 这些字眼,要弄明白这些专业术语,不得不先讲下梯度下降的概念。 梯度下降 梯度下降法是机器学习中经典的优化算法之一,用来求解复杂曲线的最小值。“梯度”是指某一函数在该点处的方向导数沿着该方向取得最大值,即函 ...

BooTurbo 发布于 2020-04-10 22:48 评论(0)阅读(112)
0

机器学习项目完整的工作流程

一. 准备工作 1. 定义问题,收集数据集 2. 确定衡量成功的指标 对于平衡分类问题(每个类别的可能性相同),精度和ROC是常用的指标。 对于类别不平衡 问题,你可以使用准确率和召回率。 对于排序问题或多标签分类,你可以使用平均准确率均值。 自定义衡量成功的指标也很常见。 通过衡量成功的指标指引你 ...

z1xiang 发布于 2020-04-10 19:48 评论(0)阅读(46)
0

无监督学习方法

学习资料:吴恩达机器学习课程 一. K means算法 1. 算法思想 K 均值算法是无监督学习中聚类算法中的一个 1. 初始化k个聚类中心 2. 循环: 将每个训练样本归类到最近的聚类中心组成一个个聚类 移动聚类中心到本身聚类的中心(平均值) 2. 目标优化 3. 随机初始化 K 均值 的一个问题 ...

z1xiang 发布于 2020-04-10 19:39 评论(0)阅读(86)
0

监督学习方法

学习资料:《统计学习方法 第二版》、《机器学习实战》、吴恩达机器学习课程 一. 感知机Proceptron 1. 感知机是根据输入实例的特征向量$x$对其进行二类分类的线性分类模型:$f(x)=\operatorname{sign}(w \cdot x+b)$,感知机模型对应于输入空间(特征空间)中 ...

z1xiang 发布于 2020-04-10 19:29 评论(0)阅读(43)
0

机器学习概述

学习资料:《统计学习方法第二版》第一章 一. 机器学习定义 机器学习就是计算机能够利用数据和统计方法提高系统性能的方法。 二. 机器学习分类 机器学习一般可以分为监督学习、无监督学习、半监督学习和强化学习。 三. 机器学习方法三要素 模型+策略+优化算法=机器学习方法 模型 在监督学习中模型就是要学 ...

z1xiang 发布于 2020-04-10 19:26 评论(0)阅读(31)
5

写给程序员的机器学习入门 (二) - pytorch 与矩阵计算入门

pytorch 简介 pytorch 是目前世界上最流行的两个机器学习框架的其中之一,与 tensoflow 并峙双雄。它提供了很多方便的功能,例如根据损失自动微分计算应该怎样调整参数,提供了一系列的数学函数封装,还提供了一系列现成的模型,以及把模型组合起来进行训练的框架。pytorch 的前身是 ...

q303248153 发布于 2020-04-10 16:58 评论(4)阅读(500)
0

计算机视觉图像预处理中的 Zero-mean(零均值化) 和 Normalization(归一化)

在训练神经网络前,往往要对原始图像数据进行预处理,中心化(Zero-centered及Mean-subtraction)和归一化(Normalization)。那么具体是什么意思呢? 1、零均值化/中心化 在训练神经网络前,预处理训练集数据,通常是先进行零均值化(zero-mean),即让所有训练图 ...

BooTurbo 发布于 2020-04-10 16:35 评论(0)阅读(147)
0

Ⅰ Introduction to Reinforcement Learning

(for pursue, do accumulation) 个人笔记,纯属佛系分享,如有错误,万望不吝赐教。 强化学习(Reinforcement Learning)是模仿人类的学习方式(比如,学习一种新的技能,从入门到掌握总是不断地去寻错,改正,直至完全掌握),强化学习的主要思想就是智能体在与环境 ...

Hugh_Cai 发布于 2020-04-10 13:27 评论(0)阅读(124)
0

通过 Python 代码实现时间序列数据的统计学预测模型

在本篇中,我们将展式使用 Python 统计学模型进行时间序列数据分析。* 问题描述 *目标:根据两年以上的每日广告支出历史数据,提前预测两个月的广告支出金额。 原始数据:2017-01-01 到 2019-09-23 期间的每日广告支出。 数据准备:划分训练集和测试集。 df1 = data[[' ...

deephub 发布于 2020-04-10 13:25 评论(0)阅读(163)