2015年9月16日
散列表
摘要： 散列表引言 查找也叫检索，是根据给定的某个值，在表中确定一个关键字等于给定值的记录或数据元素；关键字,是数据元素中某个数据项的值，它可以标识一个数据元素（主关键字和次关键字）。（比如在一个学生信息的记录中，给出的关键字是学生的... 阅读全文
posted @ 2015-09-16 15:21 ZhangPYi 阅读(396) 评论(0) 推荐(0)
散列表
摘要： 散列表引言 查找也叫检索，是根据给定的某个值，在表中确定一个关键字等于给定值的记录或数据元素；关键字,是数据元素中某个数据项的值，它可以标识一个数据元素（主关键字和次关键字）。（比如在一个学生信息的记录中，给出的关键字是学生的... 阅读全文
posted @ 2015-09-16 15:21 ZhangPYi 阅读(179) 评论(0) 推荐(0)
信息指纹及其应用
摘要： 信息指纹及其应用以下内容摘录自《数学之美》，作了部分的摘取，在此声明。信息指纹一段文字中包含的信息是信息熵，理论上无损编码最短长度就是信息熵，但如果仅仅区分几段文字或者图片，则不需要这么长的编码，任何一段信息文字，都可以对应一个... 阅读全文
posted @ 2015-09-16 10:11 ZhangPYi 阅读(420) 评论(0) 推荐(0)
信息指纹及其应用
摘要： 信息指纹及其应用以下内容摘录自《数学之美》，作了部分的摘取，在此声明。信息指纹一段文字中包含的信息是信息熵，理论上无损编码最短长度就是信息熵，但如果仅仅区分几段文字或者图片，则不需要这么长的编码，任何一段信息文字，都可以对应一个... 阅读全文
posted @ 2015-09-16 10:11 ZhangPYi 阅读(180) 评论(0) 推荐(0)
2015年9月15日
矩阵分解之奇异值分解
摘要： 矩阵分解之奇异值分解引言首先说矩阵，矩阵是一个难理解的数学描述，不管是在本科阶段的线性代数课上还是在研究生阶段的矩阵分析课上，都没有使我对矩阵产生什么好感，虽然考试也能过关，基本知识也能理解，但就是不知道有卵用。直到接触了机器学... 阅读全文
posted @ 2015-09-15 09:55 ZhangPYi 阅读(790) 评论(0) 推荐(0)
矩阵分解之奇异值分解
摘要： 矩阵分解之奇异值分解引言首先说矩阵，矩阵是一个难理解的数学描述，不管是在本科阶段的线性代数课上还是在研究生阶段的矩阵分析课上，都没有使我对矩阵产生什么好感，虽然考试也能过关，基本知识也能理解，但就是不知道有卵用。直到接触了机器学... 阅读全文
posted @ 2015-09-15 09:55 ZhangPYi 阅读(1332) 评论(0) 推荐(0)
2015年9月12日
Andrew Ng机器学习课程10补充
摘要： Andrew Ng机器学习课程10补充VC dimension讲到了如果通过最小化训练误差，使用一个具有d个参数的hypothesis class进行学习，为了学习好，一般需要参数d的线性关系个训练样本。到这里需要指出一点，这个... 阅读全文
posted @ 2015-09-12 11:24 ZhangPYi 阅读(198) 评论(0) 推荐(0)
Andrew Ng机器学习课程10补充
摘要： Andrew Ng机器学习课程10补充VC dimension讲到了如果通过最小化训练误差，使用一个具有d个参数的hypothesis class进行学习，为了学习好，一般需要参数d的线性关系个训练样本。到这里需要指出一点，这个... 阅读全文
posted @ 2015-09-12 11:24 ZhangPYi 阅读(109) 评论(0) 推荐(0)
2015年9月11日
Andrew Ng机器学习课程10
摘要： Andrew Ng机器学习课程10a example如果hypothesis set中的hypothesis是由d个real number决定的，那么用64位的计算机数据表示的话，那么模型的个数一共有k=264d，那么训练样本的... 阅读全文
posted @ 2015-09-11 23:42 ZhangPYi 阅读(143) 评论(0) 推荐(0)
Andrew Ng机器学习课程10
摘要： Andrew Ng机器学习课程10a example如果hypothesis set中的hypothesis是由d个real number决定的，那么用64位的计算机数据表示的话，那么模型的个数一共有k=264d，那么训练样本的... 阅读全文
posted @ 2015-09-11 23:42 ZhangPYi 阅读(181) 评论(0) 推荐(0)
大师Geoff Hinton关于Deep Neural Networks的建议
摘要： 大师Geoff Hinton关于Deep Neural Networks的建议 Note: This covers suggestions from Geoff Hinton’s talk given at UBC which... 阅读全文
posted @ 2015-09-11 22:07 ZhangPYi 阅读(288) 评论(0) 推荐(0)
大师Geoff Hinton关于Deep Neural Networks的建议
摘要： 大师Geoff Hinton关于Deep Neural Networks的建议 Note: This covers suggestions from Geoff Hinton’s talk given at UBC which... 阅读全文
posted @ 2015-09-11 22:07 ZhangPYi 阅读(149) 评论(0) 推荐(0)
修正线性单元(Rectified linear unit，ReLU）
摘要： 修正线性单元（Rectified linear unit，ReLU）Rectified linear unit在神经网络中，常用到的激活函数有sigmoid函数f(x)=11+exp(−x)、双曲正切函数f(x)=tanh(x)... 阅读全文
posted @ 2015-09-11 21:17 ZhangPYi 阅读(1676) 评论(0) 推荐(0)
修正线性单元(Rectified linear unit，ReLU）
摘要： 修正线性单元（Rectified linear unit，ReLU）Rectified linear unit在神经网络中，常用到的激活函数有sigmoid函数f(x)=11+exp(−x)、双曲正切函数f(x)=tanh(x)... 阅读全文
posted @ 2015-09-11 21:17 ZhangPYi 阅读(517) 评论(0) 推荐(0)
Andrew Ng机器学习课程9-补充
摘要： Andrew Ng机器学习课程9-补充首先要说的还是这个bias-variance trade off，一个hypothesis的generalization error是指的它在样本上的期望误差，这个样本不一定是在traini... 阅读全文
posted @ 2015-09-11 09:08 ZhangPYi 阅读(102) 评论(0) 推荐(0)
Andrew Ng机器学习课程9-补充
摘要： Andrew Ng机器学习课程9-补充首先要说的还是这个bias-variance trade off，一个hypothesis的generalization error是指的它在样本上的期望误差，这个样本不一定是在traini... 阅读全文
posted @ 2015-09-11 09:08 ZhangPYi 阅读(165) 评论(0) 推荐(0)
2015年9月10日
Andrew Ng机器学习课程9
摘要： Andrew Ng机器学习课程9首先以一个工匠为例，说明要成为一个出色的工匠，就需要掌握各种工具的使用，才能知道在具体的任务中选择什么工具来做。所以今天要讲的就是机器学习的理论部分。bias variance trade off... 阅读全文
posted @ 2015-09-10 23:27 ZhangPYi 阅读(336) 评论(0) 推荐(0)
三种常用的迭代搜索优化方法
摘要： 三种常用的迭代搜索优化方法梯度下降 牛顿法 坐标上升因为梯度下降和牛顿法都是非常常用的，在前面的文章中也做过总结，这里不做详细说明。 梯度下降与牛顿方法是两种非常常用的迭代优化方法，主要的思想就是通过迭代，一步一步地逼近最优解。... 阅读全文
posted @ 2015-09-10 11:24 ZhangPYi 阅读(1914) 评论(0) 推荐(0)
三种常用的迭代搜索优化方法
摘要： 三种常用的迭代搜索优化方法梯度下降 牛顿法 坐标上升因为梯度下降和牛顿法都是非常常用的，在前面的文章中也做过总结，这里不做详细说明。 梯度下降与牛顿方法是两种非常常用的迭代优化方法，主要的思想就是通过迭代，一步一步地逼近最优解。... 阅读全文
posted @ 2015-09-10 11:24 ZhangPYi 阅读(438) 评论(0) 推荐(0)
2015年9月9日
颜色空间总结
摘要： 颜色空间总结RGB、HSV、YUV什么是颜色Wiki是这样说的：颜色或色彩是通过眼、脑和我们的生活经验所产生的一种对光的视觉效应。嗯，简单点说，颜色就是人对光的一种感觉，由大脑产生的一种感觉。感觉是一个很主观的东西，你怎么确定你... 阅读全文
posted @ 2015-09-09 16:05 ZhangPYi 阅读(1015) 评论(0) 推荐(0)
颜色空间总结
摘要： 颜色空间总结RGB、HSV、YUV什么是颜色Wiki是这样说的：颜色或色彩是通过眼、脑和我们的生活经验所产生的一种对光的视觉效应。嗯，简单点说，颜色就是人对光的一种感觉，由大脑产生的一种感觉。感觉是一个很主观的东西，你怎么确定你... 阅读全文
posted @ 2015-09-09 16:05 ZhangPYi 阅读(435) 评论(0) 推荐(0)
2015年9月8日
卷积神经网络（CNN）
摘要： 卷积神经网络（CNN）接收域 卷积 减采样 说明：以后的总结，还应该以我的认识进行总结，这样比较符合我认知的习惯，而不是单纯的将别的地方的知识复制过来，这样并起不到好的总结效果。相反，如果能够将自己的体会写下来，当有所遗忘时... 阅读全文
posted @ 2015-09-08 22:05 ZhangPYi 阅读(399) 评论(0) 推荐(0)
卷积神经网络（CNN）
摘要： 卷积神经网络（CNN）接收域 卷积 减采样 说明：以后的总结，还应该以我的认识进行总结，这样比较符合我认知的习惯，而不是单纯的将别的地方的知识复制过来，这样并起不到好的总结效果。相反，如果能够将自己的体会写下来，当有所遗忘时... 阅读全文
posted @ 2015-09-08 22:05 ZhangPYi 阅读(244) 评论(0) 推荐(0)
2015年9月1日
在沉睡中站立起来
摘要： 真正做好一件事情没有捷径，离不开一万小时的专业训练和努力。不要在自怨自艾中浪费生命，要从沉睡中醒来，做到人格独立，思想独立。 2015-9-1 艺少 ... 阅读全文
posted @ 2015-09-01 21:52 ZhangPYi 阅读(135) 评论(0) 推荐(0)
在沉睡中站立起来
摘要： 真正做好一件事情没有捷径，离不开一万小时的专业训练和努力。不要在自怨自艾中浪费生命，要从沉睡中醒来，做到人格独立，思想独立。 2015-9-1 艺少 ... 阅读全文
posted @ 2015-09-01 21:52 ZhangPYi 阅读(106) 评论(0) 推荐(0)
Terence’s Stuff: Why do we do research?
摘要： This sound like a question best answered via a survey conducted by a body such as Vitae, an international program ... 阅读全文
posted @ 2015-09-01 12:39 ZhangPYi 阅读(140) 评论(0) 推荐(0)
Terence’s Stuff: Why do we do research?
摘要： This sound like a question best answered via a survey conducted by a body such as Vitae, an international program ... 阅读全文
posted @ 2015-09-01 12:39 ZhangPYi 阅读(289) 评论(0) 推荐(0)
2015年8月31日
机器学习中的两个概率模型
摘要： discriminative model 和 generative model是机器学习算法中两种概率模型，用来实现对训练样本的概率分布进行建模，在实践中由于经常混淆，现在通过查阅资料，将两者的分别总结于此。 不妨用stacko... 阅读全文
posted @ 2015-08-31 20:27 ZhangPYi 阅读(413) 评论(0) 推荐(0)
机器学习中的两个概率模型
摘要： discriminative model 和 generative model是机器学习算法中两种概率模型，用来实现对训练样本的概率分布进行建模，在实践中由于经常混淆，现在通过查阅资料，将两者的分别总结于此。 不妨用stacko... 阅读全文
posted @ 2015-08-31 20:27 ZhangPYi 阅读(559) 评论(0) 推荐(0)
2015年8月28日
EM算法概念
摘要： EM算法是一种非常经典的alternative optimizing算法。alternative optimizing的思想就是对于一个最优化问题，可以计算分为两步或者参数分为两个，就可以随机任意的选择一个起始值或位置，固定一个... 阅读全文
posted @ 2015-08-28 23:36 ZhangPYi 阅读(210) 评论(0) 推荐(0)
EM算法概念
摘要： EM算法是一种非常经典的alternative optimizing算法。alternative optimizing的思想就是对于一个最优化问题，可以计算分为两步或者参数分为两个，就可以随机任意的选择一个起始值或位置，固定一个... 阅读全文
posted @ 2015-08-28 23:36 ZhangPYi 阅读(288) 评论(0) 推荐(0)
非参数密度估计（直方图与核密度估计）
摘要： 主要讲述直方图与kernel density estimation，参考维基百科中的经典论述，从直方图和核密度估计的实现对比来说明这两种经典的非参数密度估计方法，具体的细节不做深入剖析。In statistics, kernel... 阅读全文
posted @ 2015-08-28 22:17 ZhangPYi 阅读(658) 评论(0) 推荐(0)
非参数密度估计（直方图与核密度估计）
摘要： 主要讲述直方图与kernel density estimation，参考维基百科中的经典论述，从直方图和核密度估计的实现对比来说明这两种经典的非参数密度估计方法，具体的细节不做深入剖析。In statistics, kernel... 阅读全文
posted @ 2015-08-28 22:17 ZhangPYi 阅读(2621) 评论(0) 推荐(0)
半监督式学习（维基百科）
摘要： 以下的内容摘自维基百科semi-supervised learning。用来对半监督学习进行一个概念性的直观体验。Semi-supervised learning is a class of supervised learnin... 阅读全文
posted @ 2015-08-28 14:41 ZhangPYi 阅读(409) 评论(0) 推荐(0)
半监督式学习（维基百科）
摘要： 以下的内容摘自维基百科semi-supervised learning。用来对半监督学习进行一个概念性的直观体验。Semi-supervised learning is a class of supervised learnin... 阅读全文
posted @ 2015-08-28 14:41 ZhangPYi 阅读(656) 评论(0) 推荐(0)
2015年8月27日
stochastic noise and deterministic noise
摘要： 在机器学习中，导致overfitting的原因之一是noise，这个noise可以分为两种，即stochastic noise，随机噪声来自数据产生过程，比如测量误差等，和deterministic noise，确定性噪声来自a... 阅读全文
posted @ 2015-08-27 15:25 ZhangPYi 阅读(198) 评论(0) 推荐(0)
stochastic noise and deterministic noise
摘要： 在机器学习中，导致overfitting的原因之一是noise，这个noise可以分为两种，即stochastic noise，随机噪声来自数据产生过程，比如测量误差等，和deterministic noise，确定性噪声来自a... 阅读全文
posted @ 2015-08-27 15:25 ZhangPYi 阅读(492) 评论(0) 推荐(0)
一些关于机器学习和统计方面值得阅读的书籍
摘要： 一些关于机器学习和统计方面值得阅读的书籍一下著作都是一些经典的英文著作，不是崇洋媚外，大部分的知识都是由人老外提出并发展的，国内一些书籍质量实在不敢恭维，所以在初始的学习时，最好还是选择英文的著作，解除第一手资料，对于启发式的学... 阅读全文
posted @ 2015-08-27 12:03 ZhangPYi 阅读(195) 评论(0) 推荐(0)
一些关于机器学习和统计方面值得阅读的书籍
摘要： 一些关于机器学习和统计方面值得阅读的书籍一下著作都是一些经典的英文著作，不是崇洋媚外，大部分的知识都是由人老外提出并发展的，国内一些书籍质量实在不敢恭维，所以在初始的学习时，最好还是选择英文的著作，解除第一手资料，对于启发式的学... 阅读全文
posted @ 2015-08-27 12:03 ZhangPYi 阅读(157) 评论(0) 推荐(0)
2015年8月26日
Andrew Ng机器学习课程7
摘要： 回顾通过定义训练集S={(x(i),y(i));i=1,2,...,m}与线性决策平面(w,b)之间的function margin γ^和geometric margin γ 、好的分类决策平面特点得到了一个最优化问题： ma... 阅读全文
posted @ 2015-08-26 11:05 ZhangPYi 阅读(206) 评论(0) 推荐(0)