训练深度神经网络的复杂性在于，因为前面的层的参数会发生变化导致每层输入的分布在训练过程中会发生变化。这又导致模型需要需要较低的学习率和非常谨慎的参数初始化策略，从而减慢了训练速度，并且具有饱和非线性的模型训练起来也非常困难。网络层输入数据分布发生变化的这种现象称为内部协变量转移，BN 就是来解决这个问题。 阅读全文
个人感觉阿里云的智能语音交互产品的精度还是很高的，通过 sdk 的方式嵌入在其他代码中也很方便，可以应用在工业界产品中，比如智能音箱。
虽然有诸多优点，但再完美的产品也是缺点的，以下是我测评之后总结的一些可以考虑改进的点：
- SDK 文档描述不够清晰，给出的代码示例不够丰富，且注释很少
- 语音合成效果可以更自然些 阅读全文
本文介绍了图像搜索产品的背景、原理和使用过程都已经叙述完毕了，个人感觉阿里云的图像搜索这款产品的识别准确率还不错，但是返回结果的可视化功能还有待提升，目前是纯 `json` 形式的字符串返回结果，不如直接图片上添加文字和方框形式的返回结果直观。 阅读全文
交叉验证是机器学习当中的概念，一般深度学习不会使用交叉验证方法，原因是深度学习的数据集一般都很大。但是也有例外，Kaggle 的一些医疗类比赛，训练集一般只有几千张，由于训练数据很少，用来作为验证集的数据会非常少，因此训练的模型在验证集上精度可能会有很大波动，这直接取决于我们所选择的验证集和训练集划分方式，也就是说，验证集的划分方式可能会造成验证集精度存在较大方差，从而无法对模型进行有效评估，同时也无法进行有效的超参数调整（batch 设置多少模型最佳收敛）。 阅读全文
梯度是微积分中的基本概念，也是机器学习解优化问题经常使用的数学工具（梯度下降算法）。因此，有必要从头理解梯度的来源和意义。本文从导数开始讲起，讲述了导数、偏导数、方向导数和梯度的定义、意义和数学公式，有助于初学者后续更深入理解随机梯度下降算法的公式。 阅读全文
深度学习是机器学习的一个特定分支。我们要想充分理解深度学习，必须对机器学习的基本原理有深刻的理解。
大部分机器学习算法都有超参数（必须在学习算法外手动设定）。机器学习本质上属于应用统计学，其更加强调使用计算机对复杂函数进行统计估计，而较少强调围绕这些函数证明置信区间；因此我们会探讨两种统计学的主要方法: 频率派估计和贝叶斯推断。同时，大部分机器学习算法又可以分成监督学习和无监督学习两类；本文会介绍这两类算法定义，并给出每个类别中一些算法示例。 阅读全文
模型容量是指模型拟合各种函数的能力，决定了模型是欠拟合还是过拟合。 欠拟合就是指模型的训练误差过大，即偏差过大，表现为模型不够”准“，优化算法目的在于解决欠拟合问题。 过拟合就是指训练误差和测试误差间距过大，即方差过大，表现为模型不够”稳“，正则化目的在于解决过拟合问题。 机器学习模型的目的是解决欠拟合和过拟合的问题，这也是机器学习算法的两个挑战。 阅读全文
大多数深度学习算法都会涉及某种形式的优化，所谓优化指的是改变 x 以最小化或最大化某个函数 f(x) 的任务，我们通常以最小化 f(x) 指代大多数最优化问题。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。常用的减少损失函数的优化算法是“梯度下降法”（Gradient Descent）。 阅读全文
K 近邻算法（KNN）是一种基本分类和回归方法。KNN 算法的核心思想是如果一个样本在特征空间中的 k 个最相邻的样本中的大多数属于一个类别，那该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分类样本所属的类别。 阅读全文
视频编解码算法分为传统算法和基于深度学习的方法，本文主要介绍基于传统算法的视频编解码技术的原理，部分内容和图片参考网上技术博客（链接已放在文章末尾）。 阅读全文
