随笔分类 - 4_机器学习书籍及杂(西瓜书、机器学习实战、统计学习方法、百面机器学习等)
摘要:线性回归和逻辑回归的区别 一、总结 一句话总结: 线性回归预测的是一个连续值 逻辑回归给出的“是”和“否”的回答 二、线性回归和逻辑回归的区别 转自或参考:线性回归和逻辑回归的区别https://blog.csdn.net/album_gyd/article/details/83537992 回归问
阅读全文
摘要:机器学习知识总结 5、生成对抗网络的难点是什么 一、总结 一句话总结: 生成对抗网络特别难收敛 1、博弈论:围棋有必胜策略? 任何有限步结束的零和博弈有必胜策略 2、奥卡姆剃刀 在机器学习领域被逐步抛弃的原因? 一般只要数据足够,复杂模型的能力一般都会比简单模型好 3、特征提取和特征选择的方式是什么
阅读全文
摘要:机器学习知识总结 4、可以把训练好的网络看做识别器或者特征提取器(很常用) 一、总结 一句话总结: 可以在已经训练好的神经网络后面接一个神经网络或者接一个svm 1、ReLU激活函数最明显的优势是什么? 快速收敛,因为ReLU(x)=max(0,x),这样每次可以有很多神经元不激活 2、卷积神经网络
阅读全文
摘要:机器学习知识总结 3、svm算法和感知器算法的区别 一、总结 一句话总结: svm是一开始输入所有样本数据,得到一个很大的优化问题,然后解优化问题,而感知器算法是一个一个样本代入,计算w和b 1、svm算法的分类结果要比感知器算法好很多很多? 其实从两个算法的思想上面就很清晰的可以感觉到,svm找分
阅读全文
摘要:机器学习知识总结 2、如何画roc曲线 一、总结 一句话总结: 改变阈值,算出tp和fp 1、roc曲线中,为什么tp(把正样本识别为正样本数)增加,fp(把负样本识别为正样本)也会增加? 鉴别能力一定,让更多好的东西进来,同时也会让更多不好的东西进来,就像小平同志说的,改革开放过后,好的东西会进来
阅读全文
摘要:SVM(支持向量机)总结 一、总结 一句话总结: 对SVM, 要记住的点: 名字由来, trick1 ( 将两类数据分成正负两类: +1, -1); trick 2 ( 对于支持向量: wx + b = 1); trick 4 soft margin and slack varible; trick
阅读全文
摘要:SVM非线性分类原理实验 一、总结 一句话总结: 到更高维度去找可以分类的超平面(无限维度的平面中必然可分) 二、解密SVM系列(四):SVM非线性分类原理实验 转自或参考:解密SVM系列(四):SVM非线性分类原理实验 - gccbuaa - 博客园https://www.cnblogs.com/
阅读全文
摘要:SVM处理非线性问题 一、总结 一句话总结: 【利用核函数】:到更高维度去找可以分类的超平面(无限维度的平面中必然可分)。 【软间隔和正则化】:有限制地降低分类要求,允许一部分样本(不满足的样本要尽量少)不满足。 1、在现实任务中,原始样本空间也许并不存在一个能正确划分两类样本的超平面,那这个时候应
阅读全文
摘要:机器学习知识总结 1、回归和分类是可以相互转换的 一、总结 一句话总结: a、比如回归中算人脸的年纪,比如1-100岁,那么可以看做分类问题中有1-100个分类 b、所以,所有的分类算法都能做回归 1、如何算细胞的面积(或者周长)? 可以获取细胞的图像,描绘细胞的边缘,然后获取里面的像素值,就是细胞
阅读全文
摘要:机器学习中常用的三种方法 一、总结 一句话总结: a、人工神经网络(Artificial Neural Network, ANN) b、决策树算法:树中的每一个节点表示对象属性的判断条件,其分支表示符合节点条件的对象。树的叶子节点表示对象所属的预测结果。 c、支持向量机(support vector
阅读全文
摘要:特征空间或数据集的线性可分是什么(以二分类为例) 一、总结 一句话总结: 直观表示:以二分类为例,线性可分表示两类样本能够被完全分隔开 数学描述:D0和D1是n维欧氏空间中的两个点集。如果存在n维向量w和实数b,使得所有属于 D0 的点xi都有 wxi+b>0,而对于所有属于D1的点xj则有wxj+
阅读全文
摘要:奥卡姆剃刀和没有免费的午餐定理 一、总结 一句话总结: 奥卡姆剃刀(Occam’s razor):简单的是最好的 “没有免费的午餐”定理(no free lunch, NFL):没有一种机器学习算法是适用于所有情况的,其实也揭露“有得必有失” 1、“没有免费的午餐”定理(no free lunch,
阅读全文
摘要:人工智能参考 感知器(神经元)相关代码 一、总结 一句话总结: 1、有训练过程,比如这里的训练10次,反复迭代 2、有学习速率,比如这里的0.1 # input_vecs = [[1, 1], [0, 0], [1, 0], [0, 1]] # labels = [1, 0, 0, 0] 1、参照感
阅读全文
摘要:人工智能数学参考 8、常用激活函数 一、总结 一句话总结: Sigmoid函数:f(z)=1/(1+e^(-z)) tanh函数:tanh(x)=e^x-e^(-x)/(e^x+e^(-x)) Relu函数:Relu = max(0,x) MaxOut函数: 1、什么是信息熵? 1、熵表示物体内部的
阅读全文
摘要:常用激活函数(激励函数)理解与总结 一、总结 一句话总结: Sigmoid函数:f(z)=1/(1+e^(-z)) tanh函数:tanh(x)=e^x-e^(-x)/(e^x+e^(-x)) Relu函数:Relu = max(0,x) MaxOut函数: 1、Sigmoid函数 f(z)=1/(
阅读全文
摘要:人工智能数学参考 7、核函数应用 一、总结 一句话总结: 一些低维很难解决的问题,切换到高维,可能会很简单 1、泊松分布 思想? 泊松分布就是把时间段分细,用二次分布来计算每个时间段事情是否发生,然后求极限就会得到泊松分布的式子 P(N(t)=n) = (λt)^n*e^(-λt)/n! 2、泊松分
阅读全文
摘要:如何通俗理解泊松分布?(转) 一、总结 一句话总结: 泊松分布就是把时间段分细,用二次分布来计算每个时间段事情是否发生,然后求极限就会得到泊松分布的式子 P(N(t)=n) = (λt)^n*e^(-λt)/n! 二、如何通俗理解泊松分布?(转) 转自:如何通俗理解泊松分布?https://blog
阅读全文
摘要:奥卡姆剃刀定律 一、总结 一句话总结: 奥卡姆剃刀:如无必要,勿增实体。 奥卡姆剃刀定律在企业管理中可进一步深化为简单与复杂定律:把事情变复杂很简单,把事情变简单很复杂。 奥卡姆剃刀定律要求,我们在处理事情时,要把握事情的主要实质,把握主流,解决最根本的问题。尤其要顺应自然,不要把事情人为地复杂化,
阅读全文
摘要:人工智能数学参考 6、中心极限定理 一、总结 一句话总结: 样本的平均值约等于总体的平均值。不管总体是什么分布,任意一个总体的样本平均值都会围绕在总体的整体平均值周围,并且呈正态分布。 如果要估计14亿人的每天读书数,可以整几次100万来估计 1、A、B为不相关的时候的P(A|B)、P(B|A)、P
阅读全文
摘要:人工智能数学参考 5、似然函数 一、总结 一句话总结: 1、给定联合样本值x关于参数0的函数:L(0|x)=f(x|0),其中x是随机变量X取得的值,0是未知的参数。 2、f(x|0)是密度函数,表示给定0下的联合密度函数。 3、似然函数是关于0的函数而密度函数是关于x的函数。 1、离散型概率分布中
阅读全文