随笔分类 - 机器学习

摘要:Q1-1:一段1米长的绳子 随机切两刀 分成三段 求能够组合成一个三角形的概率 不妨设x为两个切点坐标中的较小值,y为较大值,x≠y 可能情况的全体为: 可能情况全体构成的区域为: 三角形三边关系: 三条边的长度分别为:x, y-x, 1-y 则:x+y-x>1-y y-x+1-y>x 1-y+x> 阅读全文
posted @ 2019-09-30 21:11 stardsd 阅读 (65) | 评论 (0) 编辑
摘要:又叫做灰度共现矩阵 又叫做灰度共现矩阵 又叫做灰度共现矩阵 又叫做灰度共现矩阵 Prerequisites 概念 计算方式 对于精度要求高且纹理细密的纹理分布,我们取像素间距为d=1d=1,以下是方向的说明: 我们来看,matlab内置工具箱中的灰度共生矩阵的生成函数graycomatrix(gra 阅读全文
posted @ 2019-08-29 20:18 stardsd 阅读 (120) | 评论 (0) 编辑
摘要:【图像算法】图像特征: 一 原理 几何矩是由Hu(Visual pattern recognition by moment invariants)在1962年提出的,具有平移、旋转和尺度不变性。 定义如下: ① (p+q)阶不变矩定义: ② 对于数字图像,离散化,定义为: ③ 归一化中心矩定义: ④ 阅读全文
posted @ 2019-08-29 17:04 stardsd 阅读 (116) | 评论 (0) 编辑
摘要:上式分为两个步骤: 第一步:调整discriminative model D的权重,使得V中两项取得最大值 第二步:调整generative model G的权重,使得V中第二项取得最小值 首先,分析log D(x)的含义: D(x)表示discriminative model D对一个原始样本的评 阅读全文
posted @ 2019-08-18 19:45 stardsd 阅读 (62) | 评论 (0) 编辑
摘要:雅格布森通信模型: 通信六要素 发送者(信息源) 信道 接收者 信息 上下文 编码 HMM:隐马尔可夫模型 s是可见的 - 信源 o是不可见的(输出) - 信宿 通信就是要根据观测到的o恢复出s 对于翻译问题,汉译英:英语是s,汉语是o,根据s推断o TF-IDF TF:词频 IDF:逆文本频率指数 阅读全文
posted @ 2019-08-16 00:08 stardsd 阅读 (185) | 评论 (0) 编辑
摘要:1.熵与最大熵原理 熵是随机变量不确定性的度量,不确定性越大,熵值就越大;若随机变量退化成定值,熵为0。均匀分布是“最不确定”的分布 假设离散随机变量X的概率分布为P(x),则其熵为: 联合熵和条件熵 两个随机变量的X,Y的联合分布,可以形成联合熵,用H(X,Y)表示 条件熵H(X|Y) = H(X 阅读全文
posted @ 2019-08-13 16:51 stardsd 阅读 (76) | 评论 (0) 编辑
摘要:指数族分布是一大类分布,基本形式为: 分布函数框架中的h(x),η(θ),T(x)和A(θ)并不是任意定义的,每一部分都有其特殊的意义。 θ是自然参数(natural parameter),通常是一个实数; h(x)是底层观测值(underlying measure); T(x)是充分统计量(suf 阅读全文
posted @ 2019-07-31 20:49 stardsd 阅读 (78) | 评论 (0) 编辑
摘要:We often come across 'ablation study' in machine learning papers, for example, in this paper with the original R-CNN, it has a section of ablation stu 阅读全文
posted @ 2019-07-11 19:12 stardsd 阅读 (51) | 评论 (0) 编辑
摘要:0.下载display driver、cuda和cudnn RTX2080 Display Driver cuda cudnn 1. 禁止系统默认的显卡驱动 打开系统黑名单 sudo gedit /etc/modprobe.d/blacklist.conf将下列代码填入文件末尾 # for nvid 阅读全文
posted @ 2019-07-03 13:47 stardsd 阅读 (475) | 评论 (0) 编辑
摘要:1.OpenFace 是 卡耐基梅陇(CMU)大学的一个图像+机器学习项目,整体程序包含:人脸发现,特征提取,特征神经网络训练,人脸识别这四部分。 github https://github.com/cmusatyalab/openface/ API文档 http://openface-api.re 阅读全文
posted @ 2019-06-05 20:36 stardsd 阅读 (107) | 评论 (0) 编辑
摘要:信息论与信息熵是 AI 或机器学习中非常重要的概念,我们经常需要使用它的关键思想来描述概率分布或者量化概率分布之间的相似性。在本文中,我们从最基本的自信息和信息熵到交叉熵讨论了信息论的基础,再由最大似然估计推导出 KL 散度而加强我们对量化分布间相似性的理解。最后我们简要讨论了信息熵在机器学习中的应 阅读全文
posted @ 2019-05-22 10:23 stardsd 阅读 (238) | 评论 (0) 编辑
摘要:查全率查准率是从信息检索来的,那么我们就得先看看原来的是怎么定义的: 查全率查准率是从信息检索来的,那么我们就得先看看原来的是怎么定义的: 查全率查准率是从信息检索来的,那么我们就得先看看原来的是怎么定义的: 查全率查准率是从信息检索来的,那么我们就得先看看原来的是怎么定义的: 查全率——它是指检出 阅读全文
posted @ 2019-04-24 16:32 stardsd 阅读 (327) | 评论 (0) 编辑
摘要:1 对Blob的理解及其操作: Blob是一个四维的数组。维度从高到低分别是: (num_,channels_,height_,width_) 对于图像数据来说就是:图片个数,彩色通道个数,宽,高 Blob中数据是row-major存储的,W是变化最快的维度,例如在(n, k, h, w)处的数据, 阅读全文
posted @ 2019-03-28 10:47 stardsd 阅读 (925) | 评论 (0) 编辑
摘要:1. 对比损失函数(Contrastive Loss function) 孪生架构的目的不是对输入图像进行分类,而是区分它们。因此,分类损失函数(如交叉熵)不是最合适的选择,这种架构更适合使用对比函数。对比损失函数如下: (以判断图片相似度为例)其中Dw被定义为姐妹孪生网络的输出之间的欧氏距离。Y值 阅读全文
posted @ 2019-03-28 10:42 stardsd 阅读 (490) | 评论 (0) 编辑
摘要:一说起“深度学习”,自然就联想到它非常显著的特点“深、深、深”(重要的事说三遍),通过很深层次的网络实现准确率非常高的图像识别、语音识别等能力。因此,我们自然很容易就想到:深的网络一般会比浅的网络效果好,如果要进一步地提升模型的准确率,最直接的方法就是把网络设计得越深越好,这样模型的准确率也就会越来 阅读全文
posted @ 2019-03-25 20:12 stardsd 阅读 (841) | 评论 (0) 编辑
摘要:Understanding LSTM Networks Recurrent Neural Networks Humans don’t start their thinking from scratch every second. As you read this essay, you underst 阅读全文
posted @ 2019-03-22 19:21 stardsd 阅读 (119) | 评论 (0) 编辑
摘要:什么是BLEU? BLEU (Bilingual Evaluation Understudy) is an algorithm for evaluating the quality of text which has been machine-translated from one natural 阅读全文
posted @ 2019-03-21 16:09 stardsd 阅读 (214) | 评论 (0) 编辑
摘要:首先给出wiki地址:http://en.wikipedia.org/wiki/Beam_search 1.简介 Beam Search(集束搜索)是一种启发式图搜索算法,通常用在图的解空间比较大的情况下,为了减少搜索所占用的空间和时间,在每一步深度扩展的时候,剪掉一些质量比较差的结点,保留下一些质 阅读全文
posted @ 2019-03-18 15:51 stardsd 阅读 (229) | 评论 (0) 编辑
摘要:Conditional Variational Autoencoders 条件式变换自编码机 摘要: Conditional Variational Autoencoders 条件式变换自编码机 Goal of a Variational Autoencoder: 一个 VAE(variationa 阅读全文
posted @ 2019-03-13 15:24 stardsd 阅读 (273) | 评论 (0) 编辑
摘要:GoogLeNet系列解读 2016年02月25日 15:56:29 shuzfan 阅读数:75639更多 个人分类: 深度学习基础 GoogLeNet系列解读 2016年02月25日 15:56:29 shuzfan 阅读数:75639更多 个人分类: 深度学习基础 GoogLeNet系列解读 阅读全文
posted @ 2019-03-12 18:10 stardsd 阅读 (59) | 评论 (0) 编辑
摘要:通常用外部api进行卷积的时候,会面临mode选择。 本文清晰展示三种模式的不同之处,其实这三种不同模式是对卷积核移动范围的不同限制。 设 image的大小是7x7,filter的大小是3x3 1,full mode 橙色部分为image, 蓝色部分为filter。full模式的意思是,从filte 阅读全文
posted @ 2019-03-11 19:54 stardsd 阅读 (1559) | 评论 (0) 编辑
摘要:https://blog.csdn.net/Rasin_Wu/article/details/80017920 https://blog.csdn.net/chaipp0607/article/details/72847422 AlexNet AlexNet在2012年的ImageNet图像分类大赛 阅读全文
posted @ 2019-03-11 19:25 stardsd 阅读 (222) | 评论 (0) 编辑
摘要:如图所示: 假设你想要解决一个复杂的任务,你没有太多的标记的训练数据,但不幸的是,你不能找到一个类似的任务训练模型。 不要失去所有希望! 首先,你当然应该尝试收集更多的有标签的训练数据,但是如果这太难或太昂贵,你仍然可以进行无监督的训练(见图 11-5)。 也就是说,如果你有很多未标记的训练数据,你 阅读全文
posted @ 2019-03-11 18:04 stardsd 阅读 (158) | 评论 (0) 编辑
摘要:Let's assume that you are training a model whose performance depends on a set of hyperparameters. In the case of a neural network, these parameters ma 阅读全文
posted @ 2019-03-09 14:00 stardsd 阅读 (149) | 评论 (0) 编辑
摘要:本文参考博文 (1)介绍 *_train_test.prototxt文件与 *_deploy.prototxt文件的不同:http://blog.csdn.net/sunshine_in_moon/article/details/49472901 (2)生成deploy文件的Python代码:htt 阅读全文
posted @ 2019-02-23 09:52 stardsd 阅读 (127) | 评论 (0) 编辑
摘要:版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u014380165/article/details/77284921 我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层 阅读全文
posted @ 2019-02-23 09:33 stardsd 阅读 (344) | 评论 (0) 编辑
摘要:视频质量专家组(Video Quality Experts Group, VQEG)发起的评价算法性能校准项目的主要思想是通过组织主观实验获取图像的主观质量,以主客观质量的一致性来判断客观评价算法的性能。目前常用的数据主要有以下8种: 1)LIVE(Laboratory for image & vi 阅读全文
posted @ 2019-02-15 09:47 stardsd 阅读 (976) | 评论 (1) 编辑
摘要:https://blog.csdn.net/u010417185/article/details/52649178 https://blog.csdn.net/u010417185/article/details/52649178 https://blog.csdn.net/u010417185/a 阅读全文
posted @ 2019-01-30 21:22 stardsd 阅读 (162) | 评论 (0) 编辑
摘要:caffe finetune两种修改网络结构prototxt方法 caffe finetune两种修改网络结构prototxt方法 caffe finetune两种修改网络结构prototxt方法 caffe finetune两种修改网络结构prototxt方法 第一种方法:将原来的prototxt 阅读全文
posted @ 2019-01-30 21:19 stardsd 阅读 (245) | 评论 (0) 编辑
摘要:原文https://blog.csdn.net/u011070171/article/details/75425740 原文https://blog.csdn.net/u011070171/article/details/75425740 原文https://blog.csdn.net/u01107 阅读全文
posted @ 2019-01-30 20:57 stardsd 阅读 (137) | 评论 (0) 编辑
摘要:Keras有两种类型的模型,序贯模型(Sequential)和函数式模型(Model),函数式模型应用更为广泛,序贯模型是函数式模型的一种特殊情况。 两类模型有一些方法是相同的: model.summary():打印出模型概况,它实际调用的是keras.utils.print_summary mod 阅读全文
posted @ 2019-01-29 21:55 stardsd 阅读 (774) | 评论 (1) 编辑
摘要:参考文献: 1.python 皮尔森相关系数 https://www.cnblogs.com/lxnz/p/7098954.html 2.统计学之三大相关性系数(pearson、spearman、kendall) http://blog.sina.com.cn/s/blog_69e75efd0102 阅读全文
posted @ 2019-01-29 09:12 stardsd 阅读 (2511) | 评论 (0) 编辑
摘要:https://zhuanlan.zhihu.com/p/32480810 TLDR (or the take away) 频率学派 - Frequentist - Maximum Likelihood Estimation (MLE,最大似然估计) 贝叶斯学派 - Bayesian - Maxim 阅读全文
posted @ 2019-01-24 11:09 stardsd 阅读 (304) | 评论 (0) 编辑
摘要:准确地说,RAISR并不是用来压缩图像的,而是用来upsample图像的。 众所周知,图片缩小到半分辨率后,在拉回原大小,会出现强烈的锯齿。从80年代开始就有很多super sampling的方法,要么从多张低分辨率的图构建出高分辨率,要么从单张“猜测”出高分辨率。本质上其实都是针对边缘搞事情。从锯 阅读全文
posted @ 2019-01-16 21:07 stardsd 阅读 (304) | 评论 (0) 编辑
摘要:作者:冬瓜哥链接:https://www.zhihu.com/question/59184480/answer/166167659来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 显卡/GPU是具体干活的芯片,其从host端拿命令和数据。显卡驱动,分内核态和用户态两部分 阅读全文
posted @ 2019-01-16 17:55 stardsd 阅读 (3582) | 评论 (0) 编辑
摘要:一、由于实验室大家使用的CUDA、CUdnn不同,所以需要在同一台服务器安装多个版本,而且要不引起冲突,方法如下: 1、一般来说CUDA安装在 /usr/local 目录下(当然你可以通过“echo $PATH”命令查询你的CUDA安装目录,一般来说CUDA的文件路径都会被写入到系统环境),如下图 阅读全文
posted @ 2019-01-16 17:00 stardsd 阅读 (2215) | 评论 (1) 编辑
摘要:样本不平衡问题 样本不平衡问题 样本不平衡问题 样本不平衡问题 如在二分类中正负样本比例存在较大差距,导致模型的预测偏向某一类别。如果正样本占据1%,而负样本占据99%,那么模型只需要对所有样本输出预测为负样本,那么模型轻松可以达到99%的正确率。一般此时需使用其他度量标准来判断模型性能。比如召回率 阅读全文
posted @ 2019-01-16 15:39 stardsd 阅读 (1474) | 评论 (0) 编辑
摘要:推断(Inference),就是深度学习把从训练中学习到的能力应用到工作中去。 精心调整权值之后的神经网络基本上就是个笨重、巨大的数据库。为了充分利用训练的结果,完成现实社会的任务,我们需要的是一个能够保留学习到的能力,还能迅速应用到前所未见的数据上的,响应迅速的系统。这就是推断,根据真实世界中的少 阅读全文
posted @ 2019-01-15 14:48 stardsd 阅读 (1099) | 评论 (0) 编辑
摘要:3. Fast-R-CNN 基于R-CNN和SPP-Net思想,RBG提出了Fast-R-CNN算法。如果选用VGG16网络进行特征提取,在训练阶段,Fast-R-CNN的速度相比RCNN和SPP-Net可以分别提升9倍和3倍;在测试阶段,Fast-R-CNN的速度相比RCNN和SPP-Net可以分 阅读全文
posted @ 2019-01-06 19:35 stardsd 阅读 (241) | 评论 (0) 编辑
摘要:4. Faster-R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 在之前介绍的Fast-R-CNN中,第一步需要先使用Selective Search方法提取图像中的proposals。基于CPU实现的 阅读全文
posted @ 2019-01-06 19:35 stardsd 阅读 (1431) | 评论 (0) 编辑
摘要:2. SPP-Net : Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition) 传统CNN和SPP-Net流程对比如下图所示(引自http://www.image-net.org/challeng 阅读全文
posted @ 2019-01-06 19:34 stardsd 阅读 (140) | 评论 (0) 编辑
摘要:1. R-CNN:Rich feature hierarchies for accurate object detection and semantic segmentation 技术路线:selective search + CNN + SVMs Step1:候选框提取(selective sea 阅读全文
posted @ 2019-01-06 19:33 stardsd 阅读 (275) | 评论 (0) 编辑
摘要:基于空间金字塔池化的卷积神经网络物体检测 原文地址:http://blog.csdn.net/hjimce/article/details/50187655 作者:hjimce 一、相关理论 本篇博文主要讲解大神何凯明2014年的paper:《Spatial Pyramid Pooling in D 阅读全文
posted @ 2019-01-01 15:20 stardsd 阅读 (1651) | 评论 (1) 编辑
摘要:版权声明:转载请注明出处,谢谢! https://blog.csdn.net/Quincuntial/article/details/59109447 1. Parameters solver.prototxt文件是用来告诉caffe如何训练网络的。solver.prototxt的各个参数的解释如下 阅读全文
posted @ 2018-12-31 15:11 stardsd 阅读 (117) | 评论 (0) 编辑
摘要:版权声明:本文为博主原创文章,欢迎转载,注明地址。 https://blog.csdn.net/program_developer/article/details/79430119 一、LRN技术介绍: Local Response Normalization(LRN)技术主要是深度学习训练时的一种 阅读全文
posted @ 2018-12-31 14:34 stardsd 阅读 (912) | 评论 (0) 编辑
摘要:版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/Cheese_pop/article/details/52024980 DATA crop:截取原图像中一个固定patch layers { name: "data" type: DATA top: "dat 阅读全文
posted @ 2018-12-30 19:31 stardsd 阅读 (328) | 评论 (0) 编辑
摘要:1. Dropout简介 1.1 Dropout出现的原因 在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测 阅读全文
posted @ 2018-12-16 20:15 stardsd 阅读 (1388) | 评论 (0) 编辑
摘要:1. SimHash与传统hash函数的区别 传统的Hash算法只负责将原始内容尽量均匀随机地映射为一个签名值,原理上仅相当于伪随机数产生算法。传统的hash算法产生的两个签名,如果原始内容在一定概率下是相等的;如果不相等,除了说明原始内容不相等外,不再提供任何信息,因为即使原始内容只相差一个字节, 阅读全文
posted @ 2018-12-08 16:08 stardsd 阅读 (173) | 评论 (0) 编辑
摘要:1 介 绍 1.1 流式计算介绍 流式大数据计算主要有以下特征: 1)实时性。流式大数据不仅是实时产生的,也是要求实时给出反馈结果。系统要有快速响应能力,在短时间内体现出数据的价值,超过有效时间后数据的价值就会迅速降低。 2)突发性。数据的流入速率和顺序并不确定,甚至会有较大的差异。这要求系统要有较 阅读全文
posted @ 2018-12-08 15:56 stardsd 阅读 (161) | 评论 (0) 编辑
摘要:1 指数平滑法 移动平均模型在解决时间序列问题上简单有效,但它们的计算比较难,因为不能通过之前的计算结果推算出加权移动平均值。此外,移动平均法不能很好的处理数据集边缘的数据变化,也不能应用于现有数据集的范围之外。因此,移动平均法的预测效果相对较差。 指数平滑法(exponential smoothi 阅读全文
posted @ 2018-12-08 15:39 stardsd 阅读 (310) | 评论 (0) 编辑
摘要:原文连接 https://blog.csdn.net/guolindonggld/article/details/56966200 原文连接 https://blog.csdn.net/guolindonggld/article/details/56966200 原文连接 https://blog. 阅读全文
posted @ 2018-11-24 19:56 stardsd 阅读 (569) | 评论 (0) 编辑
摘要:前言在跑通了官网的mnist和cifar10数据之后,笔者尝试着制作自己的数据集,并保存,读入,显示。 TensorFlow可以支持cifar10的数据格式, 也提供了标准的TFRecord 格式,而关于 tensorflow 读取数据, 官网提供了3中方法 1 Feeding: 在tensorfl 阅读全文
posted @ 2018-11-04 15:44 stardsd 阅读 (799) | 评论 (0) 编辑
摘要:https://www.cnblogs.com/pinard/p/9220199.html 在机器学习用于产品的时候,我们经常会遇到跨平台的问题。比如我们用Python基于一系列的机器学习库训练了一个模型,但是有时候其他的产品和项目想把这个模型集成进去,但是这些产品很多只支持某些特定的生产环境比如J 阅读全文
posted @ 2018-10-30 15:46 stardsd 阅读 (425) | 评论 (0) 编辑
摘要:支持连续变量和类别变量,类别变量就是某个属性有三个值,a,b,c,需要用Feature Transformers中的vectorindexer处理 上来是一堆参数 setMaxDepth:最大树深度 setMaxBins:最大装箱数,为了近似统计变量,比如变量有100个值,我只分成10段去做统计 s 阅读全文
posted @ 2018-10-30 15:27 stardsd 阅读 (366) | 评论 (0) 编辑
摘要:修改元数据 概述 “修改元数据”节点用于显示检测到的元数据或者输入的元数据信息,为后续的模型训练和应用做必要的准备。 用户可以修改本节点的测量尺度(包括测量尺度、值)和角色,修改后的测量尺度和角色会被检测是否满足一致性要求。 当测量尺度修改完成后,会根据类型来进行一致性检查。 当角色修改完成后,会根 阅读全文
posted @ 2018-10-30 15:13 stardsd 阅读 (153) | 评论 (0) 编辑
摘要:写在前面 之前只停留在理论上,没有实际沉下心去调参,实际去做了后,发现调参是个大工程(玄学)。于是这篇来总结一下sklearn中svm的参数说明以及调参经验。方便以后查询和回忆。 常用核函数 1.linear核函数: K(xi,xj)=xTixjK(xi,xj)=xiTxj 2.polynomial 阅读全文
posted @ 2018-09-24 21:23 stardsd 阅读 (4133) | 评论 (0) 编辑
摘要:作者:孙九爷链接:https://www.zhihu.com/question/41765860/answer/101915528来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 变分推断其实就是一句话:用简单的分布q去近似复杂的分布p。首先,为什么要选择用变分推断?因 阅读全文
posted @ 2018-09-05 19:26 stardsd 阅读 (66) | 评论 (0) 编辑
摘要:引入 监督学习的任务就是学习一个模型(或者得到一个目标函数),应用这一模型,对给定的输入预测相应的输出。这一模型的一般形式为一个决策函数Y=f(X),或者条件概率分布P(Y|X)。 监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative ap 阅读全文
posted @ 2018-09-04 20:37 stardsd 阅读 (2570) | 评论 (0) 编辑
摘要:1.再提逻辑回归 前面已经讲过了逻辑回归,这里不再细讲,只是简单的说一个函数,主要是方便大家更好的理解概率校准。 在逻辑回归中,用的最多的就是sigmod函数,这个函数的作用就是把无限大或者无限小的数据压缩到[0,1]之间,用来估计概率。图像大致为: 基本上是以0.5分界,0.5以上为1,0.5以下 阅读全文
posted @ 2018-09-03 21:27 stardsd 阅读 (1742) | 评论 (0) 编辑
摘要:https://blog.csdn.net/hustqb/article/details/77922031 评分参数定义模型评价规则 公共案例预定义值 根据度量函数定义你的评分策略 应用你自己的评分对象 使用多种度量指标 分类度量 从二分类到多分类多标签 精确度 Cohens kappa 混乱矩阵 阅读全文
posted @ 2018-09-03 21:04 stardsd 阅读 (1852) | 评论 (0) 编辑
摘要:方法与参数 LogisticRegression类的各项参数的含义 class sklearn.linear_model.LogisticRegression(penalty='l2', dual=False, tol=0.0001, C=1.0, fit_intercept=True, inter 阅读全文
posted @ 2018-09-01 19:19 stardsd 阅读 (5407) | 评论 (0) 编辑
摘要:核函数是一个相似度函数 SVM模型有两个非常重要的参数C与gamma。其中 C是惩罚系数,即对误差的宽容度。c越高,说明越不能容忍出现误差,容易过拟合。C越小,容易欠拟合。C过大或过小,泛化能力变差 gamma是选择RBF函数作为kernel后,该函数自带的一个参数。隐含地决定了数据映射到新的特征空 阅读全文
posted @ 2018-06-28 19:21 stardsd 阅读 (1597) | 评论 (0) 编辑
摘要:准: bias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距,简单讲,就是在样本上拟合的好不好。要想在bias上表现好,low bias,就得复杂化模型,增加模型的参数,但这样容易过拟合 (overfitting),过拟合对应上图是high variance,点很分散。low 阅读全文
posted @ 2018-06-28 19:13 stardsd 阅读 (896) | 评论 (0) 编辑
摘要:搭建普通的卷积CNN网络。 nan表示的是无穷或者是非数值,比如说你在tensorflow中使用一个数除以0,那么得到的结果就是nan。 在一个matrix中,如果其中的值都为nan很有可能是因为采用的cost function不合理导致的。 当使用tensorflow构建一个最简单的神经网络的时候 阅读全文
posted @ 2018-03-07 23:46 stardsd 阅读 (1298) | 评论 (0) 编辑
摘要:Returns the index with the largest value across axis of a tensor. input is a Tensor and axis describes which axis of the input Tensor to reduce across 阅读全文
posted @ 2018-03-07 21:16 stardsd 阅读 (727) | 评论 (0) 编辑
摘要:In this step-by-step Keras tutorial, you’ll learn how to build a convolutional neural network in Python! In fact, we’ll be training a classifier for h 阅读全文
posted @ 2018-03-05 20:08 stardsd 阅读 (621) | 评论 (0) 编辑
摘要:HMM的模型 图1 如上图所示,白色那一行描述由一个隐藏的马尔科夫链生成不可观测的状态随机序列,蓝紫色那一行是各个状态生成可观测的随机序列 话说,上面也是个贝叶斯网络,而贝叶斯网络中有这么一种,如下图: 代表:c确定时a和b独立。(c为实心圆代表:c已经被确定) 这时,如果把z1看成a,x1看成b, 阅读全文
posted @ 2018-02-26 19:39 stardsd 阅读 (9825) | 评论 (0) 编辑
摘要:定义与结构 受限玻尔兹曼机(RBM)由Geoff Hinton发明,是一种用于降维、分类、回归、协同过滤、特征学习和主题建模的算法。(如需通过实例了解RBM等神经网络的应用方法,请参阅应用案例)。 我们首先介绍受限玻尔兹曼机这类神经网络,因为它相对简单且具有重要的历史意义。下文将以示意图和通俗的语言 阅读全文
posted @ 2018-02-24 23:41 stardsd 阅读 (1041) | 评论 (0) 编辑
摘要:模型后处理 作者:Trent Hauck 译者:飞龙 协议:CC BY-NC-SA 4.0 5.1 K-fold 交叉验证 这个秘籍中,我们会创建交叉验证,它可能是最重要的模型后处理验证练习。我们会在这个秘籍中讨论 k-fold 交叉验证。有几种交叉验证的种类,每个都有不同的随机化模式。K-fold 阅读全文
posted @ 2018-01-30 23:37 stardsd 阅读 (453) | 评论 (0) 编辑
摘要:preface:做实验少不了交叉验证,平时常用from sklearn.cross_validation import train_test_split,用train_test_split()函数将数据集分为训练集和测试集,但这样还不够。当需要调试参数的时候便要用到K-fold。scikit给我们提 阅读全文
posted @ 2018-01-30 23:37 stardsd 阅读 (264) | 评论 (0) 编辑
摘要:本文结构: 什么是交叉验证法? 为什么用交叉验证法? 主要有哪些方法?优缺点? 各方法应用举例? 什么是交叉验证法? 它的基本思想就是将原始数据(dataset)进行分组,一部分做为训练集来训练模型,另一部分做为测试集来评价模型。 为什么用交叉验证法? 交叉验证用于评估模型的预测性能,尤其是训练好的 阅读全文
posted @ 2018-01-29 20:54 stardsd 阅读 (3728) | 评论 (0) 编辑
摘要:比方说,用100k条数据,有两个思路 1. 用这100k条数据做k-fold交叉验证,来调模型参数 2. 先随机划分出70k条数据做训练集用来根据交叉验证调参数,调好之后再用剩下的30k条数据做测试集 【答】 虽然这两个都没有错对之分,但是在数据量允许的情况下,更建议第2个思路。 对于思路1,如果用 阅读全文
posted @ 2018-01-29 16:48 stardsd 阅读 (1450) | 评论 (0) 编辑
摘要:原文链接 还记得 Prisma 吗?就是能把拍摄的照片转化为各种名画风格的修图软件,神经网络的深度学习后,想要波普还是梵高风的图片都不在话下。 现在,它的进化版本来了。这回是布拉格捷克理工大学的研究团队创造的算法,这种人工智能技术能将动态画面转化为不同的风格。在演示视频中,原本正常的一段自拍视频加入 阅读全文
posted @ 2017-05-29 16:34 stardsd 阅读 (152) | 评论 (0) 编辑
摘要:编者注:澳大利亚机器学习专家、畅销书作者 Jason Brownlee,对机器学习领域的各类优质书籍进行了盘点,汇总成这份阅读指南。在所筛选的学习资源中,这堪称是迄今为止最全面、最完整、权威性比较高的一份 ML 书单,涵盖了最值得学习者、从业者、开发者认真研读的精品书目。这份指南适合多样背景的读者: 阅读全文
posted @ 2017-01-30 23:51 stardsd 阅读 (1988) | 评论 (0) 编辑
摘要:20世纪初意大利经济学家基尼,于1922年提出的定量测定收入分配差异程度的指标。它是根据洛伦茨曲线找出了判断分配平等程度的指标(如下图)。 设实际收入分配曲线和收入分配绝对平等曲线之间的面积为A,实际收入分配曲线右下方的面积为B。并以A除以A+B的商表示不平等程度。这个数值被称为基尼系数或称洛伦茨系 阅读全文
posted @ 2017-01-11 19:14 stardsd 阅读 (3025) | 评论 (0) 编辑
摘要:这篇文章翻译至http://www.svds.com/learning-imbalanced-classes/,作者简洁明了地阐述了非平衡数据及解决这类问题的常用方法。其实一些朴素的方法我们自己也能想到,并且也实际使用过一些,比如重采样、调整权值等。然而,我们并没有去做一些归纳。感谢作者帮我们归纳了 阅读全文
posted @ 2017-01-11 15:27 stardsd 阅读 (613) | 评论 (0) 编辑
摘要:1. 概要 数据预处理在众多深度学习算法中都起着重要作用,实际情况中,将数据做归一化和白化处理后,很多算法能够发挥最佳效果。然而除非对这些算法有丰富的使用经验,否则预处理的精确参数并非显而易见。 1. 概要 数据预处理在众多深度学习算法中都起着重要作用,实际情况中,将数据做归一化和白化处理后,很多算 阅读全文
posted @ 2017-01-04 20:09 stardsd 阅读 (32802) | 评论 (0) 编辑
摘要:(cs231n与5月dl班课程笔记) 1 前言 2012年我在北京组织过8期machine learning读书会,那时“机器学习”非常火,很多人都对其抱有巨大的热情。当我2013年再次来到北京时,有一个词似乎比“机器学习”更火,那就是“深度学习”。 本博客内写过一些机器学习相关的文章,但上一篇技术 阅读全文
posted @ 2016-12-02 00:04 stardsd 阅读 (1171) | 评论 (2) 编辑
摘要:作者:sjyan链接:https://www.zhihu.com/question/23293449/answer/120220974来源:知乎著作权归作者所有,转载请联系作者获得授权。 大三的时候上了一门人工智能,其中有一次作业就用到了遗传算法,问题是这样的: 求解函数 f(x) = x + 10 阅读全文
posted @ 2016-11-12 18:27 stardsd 阅读 (6842) | 评论 (0) 编辑
摘要:前段时间在学习空间统计相关的知识,于是把ArcGIS里Spatial Statistics工具箱里的工具好好研究了一遍,同时也整理了一些笔记上传分享。这一篇先聊一些基础概念,工具介绍篇随后上传。 空间统计研究起步于上个世纪70年代,空间统计其核心就是认识与地理位置相关的数据间的空间依赖、空间关联等关 阅读全文
posted @ 2016-11-07 18:52 stardsd 阅读 (916) | 评论 (0) 编辑
摘要:2011-12-05 19:49:55 标签:群智能 休闲 蚁群优化 粒群优化 粒子群优化 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://nxlhero.blog.51cto.com/962631/734212 粒子群优化算法属 阅读全文
posted @ 2016-11-06 21:33 stardsd 阅读 (219) | 评论 (0) 编辑
摘要:自话粒子群算法(超简单实例) 简介 上 次在自话遗传算法中提到后期会写两篇关于粒子群算法和蚁群算法的博文,所以这次给大家带来的是我对粒子群的一些理解,并附带一个相当简单的实例去描述这个 算法,我会尽力通俗易懂的把整个算法描述一遍,其实粒子群算法的思想也挺简单的,希望我不要反而写复杂了,下面同样引用百 阅读全文
posted @ 2016-11-06 21:29 stardsd 阅读 (171) | 评论 (0) 编辑
摘要:2013-12-13 20:00:58 Yanjun K-means算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标。 对于聚类问题,我们事先并不知道给定的一个训练数据 阅读全文
posted @ 2016-10-28 20:43 stardsd 阅读 (150) | 评论 (0) 编辑
摘要:聚类分析(英语:Cluster analysis,亦称为群集分析) K-means也是聚类算法中最简单的一种了,但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中,那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。 阅读全文
posted @ 2016-10-28 20:39 stardsd 阅读 (78) | 评论 (0) 编辑
摘要:http://ufldl.stanford.edu/tutorial/ 阅读全文
posted @ 2016-10-28 14:50 stardsd 阅读 (68) | 评论 (0) 编辑
摘要:当使用学习算法时,一段更快的代码通常意味着项目进展更快。例如,如果你的学习算法需要花费20分钟运行完成,这意味着你每个小时能“尝试”3个新主意。但是假如你的程序需要20个小时来运行,这意味着你一天只能“尝试”一个新主意,因为你需要花费这么长时间来等待程序的反馈。对于后者,假如你可以提升代码的效率让其 阅读全文
posted @ 2016-10-28 14:49 stardsd 阅读 (267) | 评论 (0) 编辑
摘要:条件数 Posted on 07/01/2010 by ccjou 本文的阅读等级:高级 当一线性系统受到极微小的扰动即可引发方程解剧烈变化时,我们将无从信任计算结果,便称它是病态系统(见“ 病态系统 ”)。 条件数(condition number) 是矩阵运算误差分析的基本工具,它可以度量矩阵对 阅读全文
posted @ 2016-10-06 16:10 stardsd 阅读 (3400) | 评论 (0) 编辑
摘要:优化算法入门系列文章目录(更新中): 1. 模拟退火算法 2. 遗传算法 一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前,先介绍爬山算法。爬山算法是一种简单的贪心搜索算法,该算法每次从当前解的临近解空间中选择一个最优解作为当前解,直到达到一个局部最优解。 爬山算法实现很简单,其主 阅读全文
posted @ 2016-10-05 23:49 stardsd 阅读 (199) | 评论 (0) 编辑
摘要:优化算法入门系列文章目录(更新中): 1. 模拟退火算法 2. 遗传算法 遗传算法 ( GA , Genetic Algorithm ) ,也称进化算法 。 遗传算法是受达尔文的进化论的启发,借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。 一.进化论知 阅读全文
posted @ 2016-10-05 23:39 stardsd 阅读 (1467) | 评论 (0) 编辑
摘要:0 引言 一直想写Adaboost来着,但迟迟未能动笔。其算法思想虽然简单“听取多人意见,最后综合决策”,但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午,邹博在我组织的机器学习班第8次课上讲决策树与Adaboost,其中,Adaboost讲得酣畅淋漓,讲完后,我知道,可以写本篇博客了 阅读全文
posted @ 2016-09-27 18:52 stardsd 阅读 (353) | 评论 (0) 编辑
摘要:寻找最可能的隐藏状态序列(Finding most probable sequence of hidden states) 对于一个特殊的隐马尔科夫模型(HMM)及一个相应的观察序列,我们常常希望能找到生成此序列最可能的隐藏状态序列。 1.穷举搜索 我们使用下面这张网格图片来形象化的说明隐藏状态和观 阅读全文
posted @ 2016-08-11 17:16 stardsd 阅读 (7233) | 评论 (0) 编辑
摘要:介绍 崔晓源 翻译 我们通常都习惯寻找一个事物在一段时间里的变化规律。在很多领域我们都希望找到这个规律,比如计算机中的指令顺序,句子中的词顺序和语音中的词顺序等等。一个最适用的例子就是天气的预测。 首先,本文会介绍声称概率模式的系统,用来预测天气的变化 然后,我们会分析这样一个系统,我们希望预测的状 阅读全文
posted @ 2016-08-11 16:34 stardsd 阅读 (305) | 评论 (0) 编辑
摘要:VC维含义的个人理解 有关于VC维可以在很多机器学习的理论中见到,它是一个重要的概念。在读《神经网络原理》的时候对一个实例不是很明白,通过这段时间观看斯坦福的机器学习公开课及相关补充材料,又参考了一些网络上的资料(主要是这篇,不过个人感觉仍然没有抓住重点),重新思考了一下,终于理解了这个定义所要传达 阅读全文
posted @ 2016-08-11 03:02 stardsd 阅读 (1883) | 评论 (0) 编辑
摘要:没有系统学过数学优化,但是机器学习中又常用到这些工具和技巧,机器学习中最常见的优化当属凸优化了,这些可以参考Ng的教学资料:http://cs229.stanford.edu/section/cs229-cvxopt.pdf,从中我们可以大致了解到一些凸优化的概念,比如凸集,凸函数,凸优化问题,线性 阅读全文
posted @ 2016-08-11 00:24 stardsd 阅读 (1089) | 评论 (0) 编辑
摘要:解密SVM系列(一):关于拉格朗日乘子法和KKT条件 解密SVM系列(一):关于拉格朗日乘子法和KKT条件 标签: svm算法支持向量机 2015-08-17 18:53 1214人阅读 评论(0) 收藏 举报 标签: svm算法支持向量机 2015-08-17 18:53 1214人阅读 评论(0 阅读全文
posted @ 2016-08-02 17:33 stardsd 阅读 (6790) | 评论 (0) 编辑
摘要:【整理】 在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。 我们这里提到的最优化问题通常是指对于给定的某一函数,求其在指定作用域上的全局 阅读全文
posted @ 2016-08-02 10:04 stardsd 阅读 (45647) | 评论 (3) 编辑
摘要:原文链接:http://blog.csdn.net/v_july_v/article/details/7624837 作者:July、pluskid ;致谢:白石、JerryLead 出处:结构之法算法之道blog。 前言 动笔写这个支持向量机(support vector machine)是费了不 阅读全文
posted @ 2016-07-31 20:53 stardsd 阅读 (2920) | 评论 (2) 编辑