随笔分类 -  Machine Learning

A category for collecting knowledge about machine learning
[基础] Loss function （二）
摘要：Loss function = Loss term(误差项) + Regularization term(正则项)，上次写的是误差项，这次正则项。 正则项的解释没那么直观，需要知道不适定问题，在经典的数学物理中，人们只研究适定问题。适定问题是指满足下列三个要求的问题：①解是存在的（存在性）；②解是惟 阅读全文
posted @ 2016-04-19 20:36 CarlGoodman 阅读(466) 评论(0) 推荐(0)
[基础] 常见分布
摘要：统计学上的几种常见分布 二项分布（Binomial distribution） 相互独立实验序列，yes/no的出现次数为x/n-x的概率 多项分布（Multinomial distribution） 相互独立实验序列，k个结果的出现次数为x1, x2,..., xk的概率 Beta分布（Beta 阅读全文
posted @ 2016-04-07 23:46 CarlGoodman 阅读(398) 评论(0) 推荐(0)
[基础] Loss function（一）
摘要：Loss function = Loss term(误差项) + Regularization term(正则项)，我们先来研究误差项；首先，所谓误差项，当然是误差的越少越好，由于不存在负误差，所以为0是极限，而误差得越多当然也越不好 1. Gold function，理想中的效果 正样本，损失为0 阅读全文
posted @ 2016-03-27 22:08 CarlGoodman 阅读(265) 评论(0) 推荐(0)
[问题] 分类模型泛化能力不好
摘要：这个问题在各个领域的分类问题上都会出现，根本上还是数据集的问题。就像是做视频剪辑的人说的，真正做视频的高手会在录制视频时下更多的功夫，而不是在后期处理上，视频质量的好坏很大程度决定于录制视频的手法。类似的，数据集分布过于杂合交错，训练出的模型连在本地测试集上效果都不好；而数据集分布过于单一明了，训练 阅读全文
posted @ 2016-03-22 11:53 CarlGoodman 阅读(3144) 评论(0) 推荐(0)
[基础] 各种分类器比较
摘要：参考：http://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html 阅读全文
posted @ 2016-03-12 15:49 CarlGoodman 阅读(566) 评论(0) 推荐(0)
[Audio processing] 数据集生成 & 性别年龄分类训练 Python
摘要：1、重命名，Python中文路径各种错误，所以需要先将所有文件的路径名全都改成中文。用的是MAC系统，所以WIN下的命令行批处理没法解决，所以用C来完成 2、然后再使用FFMPEG那篇文章写的Python代码，将所有音频文件转成统一格式 3、用时域上RMS去除静音帧(Optional) 4、用lib 阅读全文
posted @ 2016-03-08 19:29 CarlGoodman 阅读(1461) 评论(1) 推荐(0)
[Audio processing] FFMPEG转音频格式和采样率
摘要：利用FFMPEG转音频格式和采样率 import os import string import subprocess as sp #Full path of ffmpeg FFMPEG_BIN = "/Users/karl/Documents/python/audio/tool/ffmpeg" # 阅读全文
posted @ 2016-03-05 15:03 CarlGoodman 阅读(2655) 评论(0) 推荐(0)
[基础] 广义线性回归
摘要：本质上，linear，Logistic，Softmax 都是一个东西推导出来的。就是广义线性模型。这些分布之所以长成这个样子，是因为我们对y进行了假设。当y是正太分布-------->linear model当y是两点分布-------->Logistic model当y是多项式分布-------- 阅读全文
posted @ 2016-03-04 16:38 CarlGoodman 阅读(1435) 评论(0) 推荐(0)
[基础] 一些英文术语
摘要：MLE: maximum likelihood estimate 最大似然估计 OLS: Ordinary Least Squares 普通最小二乘法 LSE: Least Squares Estimate 最小二乘估计 IRLS: Iteratively Reweighted Least Squa 阅读全文
posted @ 2016-03-04 12:35 CarlGoodman 阅读(191) 评论(0) 推荐(0)
[参数方法] 贝叶斯估计（待补充）
摘要：问题：给定一些样本X，给定一个参数theta的先验概率p(theta)，如何建模估计x上的密度？ —————————————————————————————————————————— 根据贝叶斯规则，为了估计x上的密度，有： p(x | X) = ∫p(x, theta | X)d(theta) = 阅读全文
posted @ 2016-03-03 17:52 CarlGoodman 阅读(878) 评论(0) 推荐(0)
[参数方法] 最小二乘
摘要：问题：给定一些样本，给定输出和输出，怎么通过回归模型讲数值输出写成输入的函数？ 在模型、策略、算法三层中，最小二乘属于策略，是做高斯假设后最大似然估计的做法 —————————————————————————————————————————— 假设输出是输入的确定性函数与随机噪声的和： y = f( 阅读全文
posted @ 2016-03-03 17:04 CarlGoodman 阅读(591) 评论(0) 推荐(0)
[Theano] Theano初探
摘要：1. Theano用来干嘛的？ Theano was written at the LISA lab to support rapid development of efficient machine learning algorithms. Theano is named after the Gr 阅读全文
posted @ 2016-03-03 11:28 CarlGoodman 阅读(215) 评论(0) 推荐(0)
[Sequence Alignment Methods] Cross-Recurrent Plot (CRP)
摘要：Cross-Recurrent Plot (CRP) 阅读全文
posted @ 2016-02-24 16:59 CarlGoodman 阅读(517) 评论(0) 推荐(0)
[Sequence Alignment Methods] Smith–Waterman algorithm
摘要：Smith–Waterman algorithm，Needleman-Wusch algorithm 阅读全文
posted @ 2016-02-23 18:26 CarlGoodman 阅读(1101) 评论(0) 推荐(1)
[Sequence Alignment Methods] Dynamic time warping (DTW)
摘要：序列对齐方法，Dynamic time warping ，DTW 阅读全文
posted @ 2016-02-23 17:07 CarlGoodman 阅读(1172) 评论(0) 推荐(0)