ubuntu下openCV-Ｈaar特征分类器训练
ubuntu下openCV-Ｈaar特征分类器训练 这段时间在学openCV，准备做一个头部检测，但是openCV自带的分类器只有人脸检测的，而且准确度不高，就准备自己训练一个分类器。在网上看了很多的博客，都讲得不是很清楚，而且全是在windows上训练的，对与用习惯linux的我来说，用cmd实在 ...
不平衡数据集分类实战：成人收入数据集分类模型训练和评估
许多二分类任务并不是每个类别都有相同数量的数据，存在着数据分布不平衡的情况。 一个常用的例子是成人收入数据集，它涉及到社交关系、教育水平等个人数据，以此来预测成人的收入水平，判断其是否拥有5万美元/年的个人收入。数据集中个人收入低于5万美元的数据比高于5万美元的数据要明显多一些，存在着一定程度的分布 ...
深度学习归一化：BN、GN与FRN
在深度学习中，使用归一化层成为了很多网络的标配。最近，研究了不同的归一化层，如BN，GN和FRN。接下来，介绍一下这三种归一化算法。 BN层 BN层是由谷歌提出的，其相关论文为《Batch Normalization: Accelerating Deep Network Training by Re ...
生物学中的机器学习：使用K-Means和PCA进行基因组序列分析 COVID-19接下来如何突变？
作者：Andre Yedeephub翻译组：孟翔杰许多人没有想到，病毒就像地球上为生存而挣扎的其他生物一样，它们会进化或变异。 只要看一看人类病毒来源的蝙蝠携带的病毒RNA序列片段即可。 AAAATCAAAGCTTGTGTTGAAGAAGTTACAACAACTCTGGAAGAAACTAAGTT …以 ...
Scikit-Learn 源码研读 （第二期）基类的实现细节
[toc] sklearn项目可以看成一棵大树，各种estimator是果实，而支撑这些估计器的主干，是为数不多的几个基类。常见的几个类有BaseEstimator、BaseSGD、ClassifierMixin、RegressorMixin，等等。 官方文档的API参考页面列出了主要的API接口， ...
深度学习基础：为什么神经网络的感知机中的神经元需要偏置项？
神经元中不添加偏置项可以吗？答案是，不可以每个人都知道神经网络中的偏置（bias）是什么，而且从人类实现第一个感知器开始，每个人都知道神经元需要添加偏置项。但你是否考虑过我们为什么要使用偏置项呢?就我而言，直到不久前我才弄清楚这个问题。当时我和一个本科生讨论了一些神经网络模型，但不知何故她把“偏置输 ...
自然语言处理中预训练模型一览
本报告将从以下几个方面梳理预训练模型，陈述预训练(特指nlp领域)的what和how，总结预训练加微调模式的好处和弊端。通过时间线的方式梳理最近两年来预训练模型的发展脉络，重点阐述几个典型的预训练模型的做法和创新点。 ...
更快的计算，更高的内存效率：PyTorch混合精度模型AMP介绍
作者：Rahul Agarwal 您是否知道反向传播算法是Geoffrey Hinton在1986年的《自然》杂志上提出的？ 同样的，卷积网络由Yann le cun于1998年首次提出，并进行了数字分类，他使用了单个卷积层。 直到2012年下半年，Alexnet才通过使用多个卷积层在ima ...
线性代数基础知识的复习
线性代数基础知识的复习 机器学习需要一些线性代数的基础知识。 matrix：矩阵 $$ A= \begin{bmatrix} 1402 & 191\\ 1371 & 821\\ 949 & 1437\\ 147&1448\\ \end{bmatrix} $$ $$ B= \begin{bmatrix ...
第一个机器学习算法：线性回归与梯度下降
第一个机器学习算法：线性回归与梯度下降 符号解释 $x^{(i)}$,$y^{(i)}$：某个训练样本 $m$：样本总数量 $h_{\theta}$：假设函数 Linear regression（线性回归） 如何获得一个线性回归模型？ 将 训练数据 放入 学习算法 ，算法通过计算得到一个 假设函数 ...
深度学习实战：tensorflow训练循环神经网络让AI创作出模仿莎士比亚风格的作品
AI创作莎士比亚风格的作品 训练一个循环神经网络模仿莎士比亚 FLORIZEL:Should she kneel be?In shall not weep received; unleased meAnd unrespective greeting than dwell in, thee,look’ ...
数学不好也能看懂的线性回归推导
一. 一元线性回归 对于线性回归最简单的就是一元线性回归，我们先拿一元线性回归作为入门的例子，等理解了这个，对于多元线性回归也就好理解了，都是一样的道理（对不起大家字写的不好！） 1.1官方定义 百科的定义：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析 ...
NTP时钟源（GPS时间源）介绍与分析 安徽京准电子科技
NTP时钟源（GPS时间源）介绍与分析 安徽京准电子科技 NTP时钟源（GPS时间源）介绍与分析 安徽京准电子科技 更多资料参考 www.ahjzsz.com 1、 时间同步过程： 客户端默认会使用其连接的域控为时钟源，域控则会从林中权威的时钟源同步时间，如果没有指定某个域控为权威时钟源，那么拥有P ...
一文带你解读：卷积神经网络自动判读胸部CT图像的机器学习原理
本文介绍了利用机器学习实现胸部CT扫描图像自动判读的任务，这对我来说是一个有趣的课题，因为它是我博士论文研究的重点。这篇文章的主要参考资料是我最近的预印本 “Machine-Learning-Based Multiple Abnormality Prediction with Large-Scale ...
深度学习中的激活函数完全指南:在数据科学的诸多曲线上进行现代之旅
原文：Towards Data Sciencedeephub翻译组：zhangzc 自2012年以来，神经网络研逐渐成为了人工智能研究的主流，深度模型迅速取代了之前的各种benchmarks。在这些创新中，激活函数对神经网络的性能和稳定性起着至关重要的作用。这篇文章将尽可能简要地概述激活函数研究的最 ...
利用mnist数据集进行深度神经网络
初始神经网络 这里要解决的问题是，将手写数字的灰度图像（28 像素 x28 像素）划分到 10 个类别中（0~9)。我们将使用 MINST 数据集，它是机器学习领域的一个经典数据集，其历史几乎和这个领域一样长，而且已被人们深入研究。这个数据集包含 60000 张训练图像和 10000 张测试图像，由 ...
从线性回归到神经网络
背景：一直想要梳理一下自己对广义线性模型的认识及思考，所有就有了这篇随笔。 前提： 1、首先明确，介绍模型会按照模型的三要素来展开，即模型（模型的参数空间），策略（如何选择最优模型，一般指代价函数/损失函数），算法（模型学习参数的方法，包括最优化方法等） 2、因为介绍的模型都是线性模型及其演化，有个 ...
大规模机器学习
这一节主要讲了一些适用于大规模机器学习的算法及策略，并比较了梯度下降、随机梯度下降和小批量梯度下降的优劣。目前来说，大规模机器学习中用的最多的还是小批量梯度下降，毕竟它在执行效率和性能之间达到了一个平衡。当然，对于小批量梯度下降来说，如何选择合适的批量大小又是一个值得深思的问题。 梯度下降 $$ \ ...
Boosting算法进化史
背景： 当前的热门算法中，除了神经网络在图像和文字、音频等领域大放异彩之外，集成学习中的xgboost,lightGBM,CatBoost也在kaggle等机器学习平台上成为了炙手可热的工具。 明确概念： 1、Boosting（提升） 2、Adaptive Boosting（自适应增强） 3、Gra ...
CTR学习笔记&代码实现1-深度学习的前奏LR->FFM
CTR学习笔记系列的第一篇，总结在深度模型称王之前经典LR，FM, FFM模型，这些经典模型后续也作为组件用于各个深度模型。模型分别用自定义Keras Layer和estimator来实现，哈哈一个是旧爱一个是新欢。特征工程依赖feature_column实现，这里做的比较简单在后面的深度模型再好好 ...
