正文内容加载中...
posted @ 2016-01-03 00:59 Poll的笔记 阅读(549) 评论(4) 编辑
摘要: 在总结正则化(Regularization)之前,我们先谈一谈正则化是什么,为什么要正则化。 个人认为正则化这个字眼有点太过抽象和宽泛,其实正则化的本质很简单,就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。一提到正则化,很多同学可阅读全文
posted @ 2018-06-30 17:01 Poll的笔记 阅读(395) 评论(0) 编辑
摘要: 深度学习的基本原理是基于人工神经网络,输入信号经过非线性的active function,传入到下一层神经元;再经过下一层神经元的activate,继续往下传递,如此循环往复,直到输出层。正是因为这些active functions的堆砌,深度学习才被赋予了解决非线性问题的能力。当然,仅仅靠acti阅读全文
posted @ 2018-06-26 10:24 Poll的笔记 阅读(292) 评论(1) 编辑
摘要: 了解LR的同学们都知道,LR采用了最小化交叉熵或者最大化似然估计函数来作为Cost Function,那有个很有意思的问题来了,为什么我们不用更加简单熟悉的最小化平方误差函数(MSE)呢? 我个人理解主要有三个原因: MSE的假设是高斯分布,交叉熵的假设是伯努利分布,而逻辑回归采用的就是伯努利分布;阅读全文
posted @ 2018-06-10 16:52 Poll的笔记 阅读(345) 评论(0) 编辑
摘要: 好久没有更新blog了,最近抽时间看了Nielsen的《Neural Networks and Deep Learning》感觉小有收获,分享给大家。 了解深度学习的同学可能知道,目前深度学习面临的一个问题就是在网络训练的过程中存在梯度消失问题(vanishing gradient problem)阅读全文
posted @ 2017-01-21 13:29 Poll的笔记 阅读(12848) 评论(2) 编辑
摘要: 简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正。本文首先分别介绍logistic函数和softmax函数的定义和应用,然后针对两者的联系和区别进行了总结。 1. logistic函数 1.1 logistic函数定义 阅读全文
posted @ 2016-07-17 15:28 Poll的笔记 阅读(28678) 评论(2) 编辑
摘要: 目前,深度学习(Deep Learning,简称DL)在算法领域可谓是大红大紫,现在不只是互联网、人工智能,生活中的各大领域都能反映出深度学习引领的巨大变革。要学习深度学习,那么首先要熟悉神经网络(Neural Networks,简称NN)的一些基本概念。当然,这里所说的神经网络不是生物学的神经网络阅读全文
posted @ 2016-06-19 20:31 Poll的笔记 阅读(33780) 评论(7) 编辑
摘要: 1. 写在前面 在机器学习(Machine learning)领域,监督学习(Supervised learning)、非监督学习(Unsupervised learning)以及半监督学习(Semi-supervised learning)是三类研究比较多,应用比较广的学习技术,wiki上对这三种阅读全文
posted @ 2016-05-21 18:38 Poll的笔记 阅读(7746) 评论(4) 编辑
摘要: 声明:本博客整理自博友@zhouyong计算广告与机器学习-技术共享平台,尊重原创,欢迎感兴趣的博友查看原文。 声明:本博客整理自博友@zhouyong计算广告与机器学习-技术共享平台,尊重原创,欢迎感兴趣的博友查看原文。 写在前面 记得在《Pattern Recognition And Machi阅读全文
posted @ 2016-05-21 15:34 Poll的笔记 阅读(2446) 评论(0) 编辑
摘要: 声明:本博客整理自博友@zhouyong计算广告与机器学习-技术共享平台,尊重原创,欢迎感兴趣的博友查看原文。 符号定义 声明:本博客整理自博友@zhouyong计算广告与机器学习-技术共享平台,尊重原创,欢迎感兴趣的博友查看原文。 符号定义 这里定义《深入浅出ML》系列中涉及到的公式符号,如无特殊阅读全文
posted @ 2016-05-15 11:59 Poll的笔记 阅读(3594) 评论(0) 编辑
摘要: 1. 什么是 LCSs? 什么是 LCSs? 好多博友看到这几个字母可能比较困惑,因为这是我自己对两个常见问题的统称,它们分别为最长公共子序列问题(Longest-Common-Subsequence)和最长公共子串(Longest-Common-Substring)问题。这两个问题非常的相似,所以阅读全文
posted @ 2016-05-08 14:50 Poll的笔记 阅读(3223) 评论(0) 编辑
摘要: 深度学习掀开了机器学习的新篇章,目前深度学习应用于图像和语音已经产生了突破性的研究进展。深度学习一直被人们推崇为一种类似于人脑结构的人工智能算法,那为什么深度学习在语义分析领域仍然没有实质性的进展呢? 引用三年前一位网友的话来讲: “Steve Renals算了一下icassp录取文章题目中包含de阅读全文
posted @ 2016-04-24 15:27 Poll的笔记 阅读(28819) 评论(6) 编辑
摘要: 考虑一个二分问题,即将实例分成正类(positive)或负类(negative)。对一个二分问题来说,会出现四种情况。如果一个实例是正类并且也被 预测成正类,即为真正类(True positive),如果实例是负类被预测成正类,称之为假正类(False positive)。相应地,如果实例是负类被预阅读全文
posted @ 2016-04-10 20:04 Poll的笔记 阅读(14503) 评论(7) 编辑
摘要: 简单的总结一下常用的一些实用的Linux文本操作命令,包括wc(统计)、cut(切分)、sort(排序)、uniq(去重)、grep(查找)、sed(替换、插入、删除)、awk(文本分析)。 1.统计命令——wc 统计文件里面有多少单词,多少行,多少字符。 1.1 wc语法 1.2 wc使用 40是阅读全文
posted @ 2016-03-27 14:06 Poll的笔记 阅读(7613) 评论(0) 编辑
摘要: 想要彻底搞懂C++是很难的,或许是不太现实的。但是不积硅步,无以至千里,所以抽时间来坚持学习一点,总结一点,多多锻炼几次,相信总有一天我们会变得"了解"C++。 STL(Standard Template Library,标准模板库)是惠普实验室开发的一系列软件的统称。它是由Alexander St阅读全文
posted @ 2016-03-20 21:19 Poll的笔记 阅读(2821) 评论(0) 编辑
摘要: 在之前的两篇博文分别介绍了常用的hash方法([Data Structure & Algorithm] Hash那点事儿)以及局部敏感hash算法([Algorithm] 局部敏感哈希算法(Locality Sensitive Hashing)),本文介绍的SimHash是一种局部敏感hash,它也阅读全文
posted @ 2016-02-20 14:07 Poll的笔记 阅读(10795) 评论(7) 编辑
摘要: 1. Hadoop FS Shell Hadoop之所以可以实现分布式计算,主要的原因之一是因为其背后的分布式文件系统(HDFS)。所以,对于Hadoop的文件操作需要有一套全新的shell指令来完成,而这就是Hadoop FS Shell。它主要是用于对Hadoop平台进行文件系统的管理。 有关H阅读全文
posted @ 2016-02-05 15:16 Poll的笔记 阅读(1189) 评论(4) 编辑
摘要: 博主感兴趣的领域主要为机器学习,数据挖掘以及深度学习算法及相关应用,了解并接触过的具体业务场景有搜索引擎、推荐系统、社交网络分析以及计算广告学。 0. 推荐读书列表 本站博客大体分为如下几个部分: 1. 算法 [Deep Learning] 正则化 [Deep Learning] 常用的Active阅读全文
posted @ 2016-01-03 00:59 Poll的笔记 阅读(549) 评论(4) 编辑
摘要: 在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为:$h_{\theta}=\sum_{j=0}^{n}\thet...阅读全文
posted @ 2015-12-30 19:46 Poll的笔记 阅读(35238) 评论(10) 编辑
摘要: 在我们的现实生活中,许多复杂系统都可以建模成一种复杂网络进行分析,比如常见的电力网络、航空网络、交通网络、计算机网络以及社交网络等等。复杂网络不仅是一种数据的表现形式,它同样也是一种科学研究的手段。复杂网络方面的研究目前受到了广泛的关注和研究,尤其是随着各种在线社交平台的蓬勃发展,各领域对于在线社交阅读全文
posted @ 2015-12-23 10:44 Poll的笔记 阅读(20643) 评论(4) 编辑
摘要: 同进化算法(见博客《[Evolutionary Algorithm] 进化算法简介》,进化算法是受生物进化机制启发而产生的一系列算法)和人工神经网络算法(Neural Networks,简称NN,神经网络是从信息处理角度对人脑的神经元网络系统进行了模拟的相关算法)一样,群体智能优化算法也属于一种...阅读全文
posted @ 2015-12-14 10:32 Poll的笔记 阅读(15203) 评论(25) 编辑