三木书生

摘要： 支持向量机 一些基本的知识可以在 第二章感知机 中了解。在感知机中可以得到，对于线性可分数据集，感知机学习算法原始形式迭代是收敛的，但是存在很多解，为了得到唯一的超平面，需要增加约束条件，也就是支持向量机。 支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。 间隔最大 阅读全文

摘要： 牛顿法和拟牛顿法 牛顿法（Newton method）和拟牛顿法（quasi Newton method）是求解无约束最优化问题的常用方法，收敛速度快。牛顿法是迭代算法，每一步需要求解海赛矩阵的逆矩阵，计算比较复杂。拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵，简化了这一计算过程。 牛顿法 我 阅读全文

摘要： 逻辑斯谛回归与最大熵模型 逻辑斯谛回归模型与最大熵模型都属于对数线性模型。 逻辑斯谛回归模型 逻辑斯谛分布 设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数： 式中，µ 为位置参数，γ>0为形状参数。该曲线以点 （µ，0.5）为中心对称。形状参数γ的值越小，曲线在中心附近增长得 阅读全文

摘要： 拉格朗日对偶性 拉格朗日对偶性 在约束最优化问题中，常常利用拉格朗日对偶性（Lagrange duality）将原始问题转为对偶问题，通过解对偶问题而得到原始问题的解。例如，最大熵模型与支持向量机。 原始问题 假设f(x)，ci(x)，hj(x)是定义在Rn上的连续可微函数。考虑约束最优化问题，即原 阅读全文

摘要： 决策树 决策树（decision tree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。 决策树模型与学习 决策树模型 决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internalnode）和叶结点（leaf node）。内部结点表示一 阅读全文

摘要： 朴素贝叶斯法 朴素贝叶斯（naïve Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法，是一种生成模型。 朴素贝叶斯法的学习与分类 朴素贝叶斯法的学习与分类 基本方法 朴素贝叶斯法通过训练数据集学习联合概率分布 P(X,Y)。具体地，学习先验概率分布 P（Y=ck）及条件概率分布 P（X= 阅读全文

摘要： k近邻法 给定一个训练数据集，对新的输入实例，在训练数据集中找到跟它最近的k个实例，根据这k个实例的类判断它自己的类（一般采用多数表决的方法）。 k近邻模型 模型由三个基本要素——距离度量、k值的选择和分类决策规则决定。 距离度量 特征空间中两个实例点的距离是两个实例点相似程度的反映。一般使用欧氏距 阅读全文

摘要： 感知机模型 感知机由输入空间到输出空间的函数为： 其中，w和b为感知机模型参数，w∊Rn叫作权值（weight）或权值向量（weight vector），b∊R叫作偏置（bias），w·x表示w和x的内积。sign是符号函数。 感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征 阅读全文

摘要： 统计学习 统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。 对象 统计学习的对象是数据。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去。 目的 统计学习的目的就是考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确的预测与分 阅读全文

摘要： 3. 无重复字符的最长子串 给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。 主要用到 滑动窗口，定义窗口左边元素的下标，窗口长度，和最大窗口长度。 不满足要求时只需要把最左边的元素移出来，遍历整个字符串得到最大窗口长度。 class Solution: def lengthOfLo 阅读全文