摘要： 一、深拷贝和浅拷贝 对于数字和字符串而言，赋值、浅拷贝和深拷贝没有意义，永远指向同一个内存地址，其中一个变量的值改变，这个变量会指向其他内存地址，其他的变量指向的内存地址不变，即值不变 142119963214211996321421199632142119963245616831521231421 阅读全文

摘要： 一、神经网络构成 人工神经网络模型是仿造生物学的神经元之间的相互连接而成的，相当于很多感知器进行线性组合而成 每一个感知器可以做一个线性分类，多个感知器组合可以模拟出平滑的曲线分类 对于一个多层的神经网络，前几层可以看做是特征的层层转换，最后一层输出则可以看做一个线性的模型，所以最后一层所学的线性模 阅读全文

摘要： 一、blending和bagging 聚合模型(aggregation)，就是把得出的不同的假设目标函数进行融合或者联合，从而得到更好的效果 一些为blending的分析： ，其中为函数g(x)的得票数，可以相同 ，其中为函数g(x)的条件判断函数，若条件符合则给予的票数 ，对于已知的，怎么融合起来 阅读全文

摘要： 一、最大分类间隔 为了保证把数据很好的分开，并且增大对噪声的容忍度，最好是距离分类面的最近分类点，到分类面的距离为最大 即求得最大间距的w，并且保证所有点分类正确，还要所有点到分类面的距离和为最小 为了计算距离，把w0和x0从特征向量中分离出来，令b=w0，x0=1就去掉了，变为 假设已经有了一个最 阅读全文

摘要： 一、用户交互 input 接收用户键盘的输入，为字符串格式（即使输入为数字，也转化为字符串格式） 查看某一功能（例如，字符串、列表、字典、元组等）的功能，利用 dir()方法 ['__add__', '__class__', '__contains__', '__delattr__', '__del 阅读全文

摘要： 一、过拟合问题 分类模型复杂、数据资料含有噪声、数据量少的情况下能发生过拟合的现象，对于不同的模型复杂度，随着资料量的增大，模型的Ein和Eout变化为： 噪声、模型复杂度与数据资料量三者对于过拟合的影响： 二、正则化 对于较为复杂的模型，需要加入正则化，是高次的项系数权重为0（或接近零），使之变为 阅读全文

摘要： 一、非线性问题 对于线性不可分的数据资料，用线性模型分类，Ein会很大，相应的Ein=Eout的情况下，Eout也会很大，导致模型表现不好，此时应用非线性模型进行分类，例如： 分类器模型是一个圆形，假设模型可表示为 转化表示形式 将平方项和常数项转为一次的Z项，则将非线性的特征空间转化为线性的特征空 阅读全文

摘要： 回顾一下线性分类、线性回归和逻辑回归模型： 三个模型的错误恒量为： 所以常用逻辑错误恒量来做分类问题，即 对于多分类的问题，可以利用逻辑回归训练多个分类器，把其中一个当做一类，其他的作为一类 例如： 得出是个逻辑回归的软分类器 分别输入四个分类器，比较出哪个分类器得出的几率较高，把输入归为相应的类 阅读全文

摘要： 一、逻辑回归问题 二分类的问题为是否的问题，由算出的分数值，经过sign函数输出的是（+1，-1），想要输出的结果为一个几率值，则需要改变函数模型 ，其中，， 则逻辑回归的函数为 二、逻辑回归错误评价 线性分类和线性回归的模型为： 其中的线性分数函数均为，逻辑回归有同样的分数函数，模型为 逻辑回归的 阅读全文

摘要： 一、线性回归问题 输入的是特征向量，输出为实数，对于，，模型函数为 衡量误差为平方错误，则Ein为， Eout为未来没有看过的数据资料在模型函数上所得的错误 二、线性回归算法 由Ein可得 目的是求得Ein最小，可知在最低点时Ein最小，即梯度为0的时候 由， 如同，可知 其中 令，可得 输入矩阵X 阅读全文