maxiaonong

摘要： 这一章先从最简单的回归开始，也就是基于普通最小二乘的线性回归。f(x)=w0x0+w1x1+w2x2+....。问题就在于求W矩阵。平方误差求导可得：W估计=（X^TX）^-1X^Ty。自写模块代码如下： 1 #!/usr/bin/env python 2 #-*-coding:utf-8 -*- 阅读全文

摘要： 恢复内容开始 集成学习其实不能算一个算法，应该算是一种框架，集百家之长。集成算法具体有Bagging与Boosting两种大类。两者区别： 1)Bagging是并行的，它就好比找男朋友，美女选择择偶对象的时候，会问几个闺蜜（几个算法）的建议，最后选择一个综合得分最高的一个作为男朋友。bagging中 阅读全文

摘要： 按照我的理解，支持向量机就是寻找最大间隔。比如两分类问题（它们线性可分），可能满足要求的分割线有很多条，支持向量是指两类中离分割线最近的元素。它追求的就是离支持向量最大的间隔。这里提到了序列最小优化(Sequential Minimal Optimization, SMO)算法。但是有时候有些问题线 阅读全文

摘要： 这一章主要讲的是逻辑回归，逻辑其实只是比线性回归多了一个逻辑函数。线性回归问题是f(x)=WTX+b用最优化方法求解W使得error=f(x)-y最小。线性回归是用f(x)取拟合的，但是逻辑回归的y值是{0，1}，所以这里需要用一函数将所有输入映射到{0,1}。本来单位阶跃函数是最理想的，但是求最优 阅读全文

摘要： 贝叶斯分类器是基于概率计算的一种分类器，即测试特征分别算属于每个类别的概率，它里面也包含很多算法，比如，朴素贝叶斯、半朴素贝叶斯、EM算法等等。这里主要说朴素贝叶斯。 贝叶斯公式：，对于分类也就是。因为计算时，分母都一样，所以可以不用计算，故难点在于算右边分子P（特征|类别）。 朴素贝叶斯之所以叫朴 阅读全文

摘要： 自说原理：决策数是用训练集训练出一棵树，树怎么分叉是由属性（特征决定），测试集的属性按照这个树一直走下去，自然就分类了。一般树的深度越小越好，那如何选属性作为根节点，又选择哪一个属性作为第二个分叉点尼？ 这就用到了信息熵与信息增益的知识。ID3中选择信息增益大的，C4.5中选择增益率大的。以书中的数 阅读全文

摘要： kNN功能：解决输入是数值型或者标称型的分类问题 kNN大致原理：输入数据集相当于在一定维度的空间中标点，测试集（或者说要预测标签的），相当于是计算与这些已有点的距离（一般是欧式距离），选择前k个距离最近的，看这k个已标点的标签是什么（也就是属于哪一类），返回k个中占比最大的标签作为预测结果。ps: 阅读全文

摘要： #!/usr/bin/env python #-*-coding:utf-8 -*- import socket sk=socket.socket() sk.connect(("127.0.0.1",8090)) while 1: inp=input(">>>") sk.send(inp.encode("utf8")) data=sk.recv(1024) ... 阅读全文

摘要： 1 #!/usr/bin/env python 2 #-*-coding:utf-8 -*- 3 4 ''' 5 协程： 协作式（线程、进程的切换都是抢占式）----------非抢占式 6 协作式不代表没有切换，只是什么时候切换，完全在于我们自己的需求，因此协程的关键点也是什么时候切换。 7 yield(协程) ，yield相当于一个临时的retu... 阅读全文

摘要： #!/usr/bin/env python # -*-coding:utf-8 -*- ''' 生产者消费者模型： 为什么要使用生产者和消费者模式： 在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发中，如果生产者的处理速度很快， 而消费者处理慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同理反过来也不行，因此引进这种模式。 什么是生产消费者模式： 生... 阅读全文