机器学习实战 - 随笔分类 - 未雨愁眸

python 机器学习库 —— featuretools（自动特征工程）

摘要：文档：https://docs.featuretools.com/#minute-quick-start所谓自动特征工程，即是将人工特征工程的过程自动化。以 featuretools 为代表的自动特征工程在整个机器学习的端到端实践中扮演的角色如下图所示： 1. de... 阅读全文

posted @ 2018-04-03 22:48 未雨愁眸阅读(574) 评论(0) 推荐(0)

mxnet（gluon）—— 模型、数据集、损失函数、优化子等类、接口大全

摘要：1. 数据集dataset_train = gluon.data.ArrayDataset(X_train, y_train)data_iter = gluon.data.DataLoader(dataset_train, batch_size, shuffle=Tr... 阅读全文

posted @ 2018-01-15 00:07 未雨愁眸阅读(1089) 评论(0) 推荐(0)

机器学习套路 —— 样本集的拆分（正样本、负样本）

摘要：collect negative samples of adaboost algorithm for face detection 机器学习中的正负样本所谓正样本（positive samples）、负样本（negative samples），对于某一环境下的人脸识别... 阅读全文

posted @ 2018-01-14 20:03 未雨愁眸阅读(3369) 评论(0) 推荐(0)

matlab 常用机器学习算法的实现

摘要：1. KNN 分类load fisheririsX = meas;Y = species; % 3 分类问题% 通过训练集进行训练Mdl = fitcknn(X, Y, 'NumNeighbors', 4)... 阅读全文

posted @ 2017-05-25 18:23 未雨愁眸阅读(1099) 评论(0) 推荐(0)

libsvm 的使用

摘要：1. libsvm 支持的SVM模型官网地址：LIBSVM – A Library for Support Vector Machineslibsvm 支持的 SVM 模型如下（C：classification，R：regression）：C-SVC(C-suppor... 阅读全文

posted @ 2017-05-25 15:19 未雨愁眸阅读(444) 评论(0) 推荐(0)

多类别分类问题由 confusion matrix 到分类准确率（accuracy）的计算

摘要：conf_mat = confusionmat(y_true, y_pred); % 首先根据数据集上的真实 label 值，和训练算法给出的预测 label 值， ... 阅读全文

posted @ 2017-05-10 09:54 未雨愁眸阅读(1830) 评论(0) 推荐(0)

transfer learning（matlab 实现）

摘要：一句话总结 transfer learning 的核心即是对一个已训练模型微调，使其适应新的应用，如下图示：为 matlab 接口所训练完成的经典深度神经网络下载地址：Index of /matconvnet/models为一个快速入门指南，Quick Start... 阅读全文

posted @ 2017-05-09 21:45 未雨愁眸阅读(705) 评论(0) 推荐(0)

matlab 构建数据集实用 api

摘要：我们当前有如下目录结构的图像数据集（用于图像分类）： 1. imageDatastoreimageDatastore：imds = imageDatastore('./images', 'IncludeSubfolders', true, 'labelsource'... 阅读全文

posted @ 2017-05-09 11:31 未雨愁眸阅读(164) 评论(0) 推荐(0)

数据集 —— ground truth 数据集

摘要：1. matlab 自带含 ground truth 数据集%% 加载停车标志数据到内存；data = load('stopSignsAndCars.mat', 'stopSignsAndCars');stopSignsAndCars = data.stopSigns... 阅读全文

posted @ 2017-05-06 18:11 未雨愁眸阅读(276) 评论(0) 推荐(0)

多类 SVM 的损失函数及其梯度计算

摘要：CS231n Convolutional Neural Networks for Visual Recognition —— optimization1. 多类 SVM 的损失函数（Multiclass SVM loss）在给出类别预测前的输出结果是实数值，也即根据... 阅读全文

posted @ 2017-04-29 22:54 未雨愁眸阅读(837) 评论(0) 推荐(0)

sigmoid function vs softmax function

摘要：DIFFERENCE BETWEEN SOFTMAX FUNCTION AND SIGMOID FUNCTION二者主要的区别见于， softmax 用于多分类，sigmoid 则主要用于二分类；⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪F(Xi)=11+exp(−Xi)=exp(Xi... 阅读全文

posted @ 2017-04-14 23:30 未雨愁眸阅读(538) 评论(0) 推荐(0)

图像数据的 normalization

摘要：Normalization的方法 matlab 工具函数（三）—— normalize（归一化数据）1. 加载指定标准差的噪声im_clean = double(imread('Lena512.png'));sigma = 25;im_noisy = im_clean... 阅读全文

posted @ 2017-04-06 16:11 未雨愁眸阅读(503) 评论(0) 推荐(0)

matlab 下的集成学习工具箱

摘要：matlab 当前支持的弱学习器（weak learners）类型分别为：‘Discriminant’‘knn’‘tree’ 可通过 templateTree 定义；1. fitcensemble：用于分类问题的集成学习框架Mdl = fitcensemble(Tbl... 阅读全文

posted @ 2017-04-06 14:56 未雨愁眸阅读(1937) 评论(0) 推荐(0)

Momentum（动量/冲量）的理解及应用

摘要：1. 基本概念（Momentum vs SGD）Momentum 用于加速 SGD（随机梯度下降）在某一方向上的搜索以及抑制震荡的发生。GD（gradient descent）θt=θt−1−η∇Jθ(θ)⇒θ=θ−η∇J(θ)for i in range(num_e... 阅读全文

posted @ 2017-04-02 10:37 未雨愁眸阅读(900) 评论(0) 推荐(0)

数据预处理（normalize、scale）

摘要：matlab 工具函数（三）—— normalize（归一化数据）注：待处理的数据 X∈Rd×N，N 表示样本的个数，d 则是单个样本的维度；1. 去均值（remove DC）X = bsxfun(@minus, X, mean(X));2. 截断标准差这里比如截断保... 阅读全文

posted @ 2017-03-28 11:59 未雨愁眸阅读(1099) 评论(0) 推荐(0)

matlab 机器学习相关函数、api

摘要：matlab 对数据集的默认组织方式是，X∈Rd×N d：行数，表示特征向量的长度；N：列数，表示样本的数目；1. 模型、预测、mse% 加载 matlab 内置数据到内存X = abalone_dataset;% 模型定义ae = trainAutoencoder(... 阅读全文

posted @ 2017-03-28 09:58 未雨愁眸阅读(146) 评论(0) 推荐(0)

matlab 实现 stacked Autoencoder 解决图像分类问题

摘要：Train Stacked Autoencoders for Image Classification1. 加载数据到内存[train_x, train_y] = digitTrainCellArrayData;% 并随机选择显示 100 副图像，n = 100;id... 阅读全文

posted @ 2017-03-27 17:23 未雨愁眸阅读(1045) 评论(0) 推荐(0)

one hot 编码的实现

摘要：one hot 编码，针对的是类别性属性（categorical），类别型属性可以为特征向量中的任一属性，比如性别（one hot 编码的意义在于，属性之间不具有数值上大小的区别，在对最后结果的影响上一视同仁），也可以是分类问题的输出目标值；对 mnist（手写字符识... 阅读全文

posted @ 2017-03-27 15:03 未雨愁眸阅读(397) 评论(0) 推荐(0)

matlab 运行 AlexNet

摘要：0. alexnet 工具箱下载下载地址：Neural Network Toolbox(TM) Model for AlexNet Network需要先注册（十分简单），登陆，下载；下载完成之后，windows 是无法运行该文件的；需要打开 matlab，进入到该文件... 阅读全文

posted @ 2017-03-22 23:08 未雨愁眸阅读(2213) 评论(0) 推荐(0)

深度神经网络调参经验

摘要：σ′(⋅)=σ(⋅)(1−σ(⋅))，tanh′=1−tanh2batch_size：将数据集划分为不同的 batch，是为了限制 RAM 的使用，防止内存溢出； batch_size = 256;ℓ 层的神经网络，对于着 ℓ−1 个层间权值矩阵；0. 简单参数hyp... 阅读全文

posted @ 2017-03-16 14:39 未雨愁眸阅读(422) 评论(0) 推荐(0)

随笔分类 - 机器学习实战