02 2019 档案
摘要:1.先要看这个,凸函数性质:https://blog.csdn.net/jiang425776024/article/details/876078482.于是,对于任意点集 ,若 且 ,使用数学归纳法,可以证...
阅读全文
摘要:目录1.名称简介2.设计集成原则3.集成学习算法分类4.Boosting4.1基本流程4.2Adaboost实现4.2.1.分类4.2.2.回归4.2.3Adaboost的正则化4.2.4Adaboost小结5....
阅读全文
摘要:目录0.scipy.optimize.minimize1.无约束最小化多元标量函数1.1Nelder-Mead(单纯形法) 1.2拟牛顿法:BFGS算法1.3牛顿 - 共轭梯度法:Newton-CG2 约束最小化...
阅读全文
摘要:目录1.马尔科夫性2.马尔科夫随机过程3.马尔科夫决策过程(MDP)3.1记状态s的状态值函数v(用于评价s的价值)为:3.2状态—行为价值函数q:3.3计算形式:3.4定义最优:4.实际计算MDP过程 参考博客...
阅读全文
摘要:目录1 GridSearchCV:网格式暴力搜索2.RandomizedSearchCV:采样式搜索3.hyperopt:贝叶斯优化总结全都在:sklearn.model_selection里面的https://...
阅读全文
摘要:传入参数:1)plt:调用对象中的pyplot。如:import matplotlib.pyplot as plt2)predict:调用对象中ML算法的predict函数,用于预测对X,Y构造网格后的预测。如:...
阅读全文
摘要:目录 1.导出目标 2拉格朗日转换 3对偶问题:4求对偶问题5 求b6 得出模型6.1 f(x)的约束条件:7 核函数7.1 软间隔7.2 松弛变量:7.3 KKT约束 8 SMO求a8.1对偶问题上,上面已知对...
阅读全文
摘要:目录1.原理背景拉普拉斯修正 半朴素贝叶斯贝叶斯网scikit-learn实现(GaussianNB,MultinomialNB和BernoulliNB)https://www.cnblogs.com/pinar...
阅读全文
摘要:目录1.决策树2.ID3算法3.C4.5算法ID3/C4.5的防过拟合ID3/C4.5的缺失数据4.CART算法1)cart在分类方面:基于基尼系数:Gini(D)2)cart在回归方面:基于方差/标准差CART...
阅读全文
摘要:class Node: def __init__(self): self.data = 0 self.right = None self.left = None ...
阅读全文
摘要:三角不等式柯西-施瓦茨不等式 任意两向量x,y∈Rn,有:成立;当且仅对有常数a,x=ay时,等式成立。
阅读全文
摘要:1.对偶线性规划每个对偶问题都有一个与之对应的对偶问题,形式:1.1等式约束转不等式约束1.2对称、非对称形式对偶关系非对称的没有>=0约束1.3弱对偶定理对偶问题不大于原问题弱对偶定理可得出最优解的情况:1.4...
阅读全文
摘要:1等式约束形式3切线空间、法线空间切线空间和法线空间互补。4拉格朗日中值定理条件标量λ称为拉格朗日乘子;图中x*在集合h(x)=0中,x*处h(x)的梯度与f(x)的梯度平行。4.1拉格朗日条件是必要条件但不是充...
阅读全文
摘要:1一般形式1.1起作用、不起作用约束1.2KKT条件在上面的包含等式、不等式的约束形式下:分析:u和g(x*)至少一个为0,既g起作用时u可以>=0,g不起作用时u=0几何解释:总结:g>=0的情况:u与g方向上...
阅读全文
摘要:1凸函数、凸集定义2.凸函数性质1)定义2)线性关系3)严格凸函数4)凹函数与凸函数性质相反5)判定二阶导>0/正定,凸函数;<0/负半定,凹函数。6)凸优化中,局部极小点就是全局极小点。 ...
阅读全文
摘要:1.形式2.投影法通常迭代形如:2.1当有约束时,这类算法迭代出的点很可能不满足约束,可以使用投影形式,然点投影到约束内,u,l为约束范围:这样对上面的迭代形式进行改进,然每次迭代后的点保持在约束内:2.2投影梯...
阅读全文
摘要:1.背景其它类型如极大化所有目标可以转换成上面类型。 2.帕累托解帕累托点:在所有函数上,没有其它解在比他更优(没有点支配它)。帕累托前沿:帕累托点组成的集合面。3.帕累托前沿求解帕累托解并不是一个,整个前沿面都...
阅读全文
摘要:目录1.简介2.数学背景3.推导4.联合概率5.求参、极大似然 6.参数求解:7.牛顿法、拟牛顿法、梯度下降法等求参:牛顿法:梯度下降法8.完整流程9.正则化10.多元逻辑回归11.scikit-learn中逻...
阅读全文
摘要:1. 简单线性回归只有一个未知数x,两个参数的,称为简单线性回归,一条直线。此时不需要线性代数概念,直接迭代求解,形如:1.1 表示形式1.2 定义损失1.3 求参,极大似然2.多元线性回归2.1形式2.2误差2...
阅读全文
摘要:1.最小二乘分析1.1最小向量求解1)几何分析:2)求导2.递推最小二乘法对不断加入的新的数据,更新参数。某个问题是寻找合适的x让最小,用前面的可以求得x*。如果增加了新的数据,用A1和b1表示,那么现在整个问题...
阅读全文
摘要:1.基本思想1.1基本缺陷需要计算黑塞矩阵,需要求矩阵的逆运算1.2拟牛顿法思想构造黑塞矩阵的逆的近似:拟牛顿法中,如果找到合适的近似构造矩阵Hk,在迭代中就不需要任何黑塞矩阵,及线性方程逆运算的计算工作了。1....
阅读全文
摘要:1.共轭方向法效率位于最速下降和牛顿法之间,优点:1.1共轭:关于对称实矩阵Q共轭关于对称正定矩阵Q共轭1.2基本共轭方向算法流程:n步之内收敛到全局极小点,证明:10.11.3共轭方向的迭代,每次ak都是最佳步...
阅读全文
摘要:牛顿法用到了目标函数的1、2阶导数,可能会更高效。1.思想:构造目标函数的近似函数:1.2泰勒展开到二阶,可以得到函数f(x)的近似函数:1.3对近似函数q(x)求极小值,得到迭代形式:1.4流程:2.二次型中牛...
阅读全文
摘要:1.梯度迭代a>0时,负梯度方向,是函数值下降方向1.1梯度下降法当接近极小值时,梯度接近0,通用形式如下,有一些具体实现:1)最速下降法梯度下降的一种具体实现,理念是在每次迭代时,选择最佳合适的步长ak,使得目...
阅读全文
摘要:讨论的是函数为一元的单值函数1.黄金分割法期望按照比例压缩查找区间,逼近极小点: 按照这类比例压缩,不断取值比较左右点大小,缩小区间范围,直到逼近。2.斐波那契数列:和黄金分割类似,只是比例按照斐波那契数列的规则...
阅读全文
摘要:1.无约束形式f(x)为价值/目标函数1.1极小点2.局部极小点条件2.1可行方向2.2可行方向上的导数:2.3可行方向上的增长率/方向导数2.4一阶必要条件1)在约束集上:方向导数>=02)在约束集内:梯度=0...
阅读全文
摘要:1.极限、收敛、有界2.可微性 3.矩阵导数3.1矩阵的导数/雅可比矩阵:Df(x0):3.2梯度:雅可比的转置3.3梯度的导数/黑塞矩阵F(x)二次连续可微,黑塞矩阵对称4.微分法则h(t)=g(f(t)): ...
阅读全文
摘要:1.线段x和y之间的线段可以表示为:{ax+(1-a)y:a∈[0,1]}2.超平面与线性簇:超平面可以写成:{x∈Rn:uTx=v} , u=[u1,u2,...,un]T,超平面把空间Rn划分 成uTx=v的...
阅读全文
摘要:线性变换:Y=Ax 相似: 特征值、特征向量: 对称阵:A=AT、实对称矩阵:特征值都是实数,特征向量相互正交 正交矩阵: 正交投影 二次型:f(x)=,正负定、半正负定 西尔维斯特准则:正定,当且仅当Q顺序主...
阅读全文
摘要:1.二叉树新节点的插入:create(root,val) class node: def __init__(self): self.data = 0 self.left = No...
阅读全文
摘要:def inorder(root): ''' 中序遍历 :param root: :return: ''' if root != None: inorder(ro...
阅读全文
摘要:从图的某个节点开始遍历,访问了则标记下来,然后遍历此点邻域中且未访问的点为新起点,且做上访问标记,通常通过递归和队列的技巧实现。1:以1为起点,[2,5]入队列2:取出2,相邻且未标记访问的3,4...
阅读全文
摘要:从图的某个节点开始遍历,访问了则标记下来,然后访问此点所有邻域中任意点为新起点,且做上访问标记,通常通过递归和栈的技巧实现。1:以1为起点,[5,2]入栈2:弹出上面的2,2相邻且未标记访问的3,...
阅读全文
摘要:将图的各边按权值小到大排列,从最低权值开始建立最小成本生成树,如果造成回路则不使用此边,直到加入n-1个边。比如对于如下图: 按照权值排序边:以B-C为最小边开始构造,然后是B-D,A-B,跳过C-D,加入B-F...
阅读全文
摘要:https://www.cnblogs.com/mzct123/p/8659193.html from numpy import *a = arange(12).reshape(3,4)print(a)# [[ ...
阅读全文
摘要:https://blog.csdn.net/yj1556492839/article/details/79031693np.r_是按列连接两个矩阵,就是把两矩阵上下相加,要求列数相等,类似于pandas中的con...
阅读全文
摘要:1.了解KDTree:KDTree的思想、划分、实现2.K近邻(KNN):scikit-learn 中KNN相关的类库概述原理很简单:K近邻法(KNN)原理小结取数据集中最近的k个点,然后投票,k个点中标记的众数...
阅读全文
摘要:https://blog.csdn.net/shujuelin/article/details/79635768本文是对pandas官方网站上《10Minutes to pandas》的一个简单的翻译,原文在这里...
阅读全文
摘要:若每年要统计一个城市极其郊区人口,像,可以显示60%住城市,40%住郊区,加起来是1;具有这种特性的向量称为:概率向量;随机矩阵是各列都是这样的向量组成的方阵;马尔科夫链是一个概率向量序列,和一个随机矩阵P()例...
阅读全文
摘要:向量范数: 矩阵范数:矩阵范数和向量的有所不同 矩阵求导标量对矩阵求导矩阵对标量求导向量对向量求导
阅读全文
摘要:来自:https://blog.csdn.net/tengweitw/article/details/41174555二维投影上图表示的是,向量b在向量a上的投影。显然有例如以下表达式:当中,P为投影矩阵,由P的...
阅读全文
摘要:对于带约束的优化问题,包括多目标优化,可以:1)把约束转成无约束的问题2)对超出约束条件的,施加惩罚,如基于适应度等评价的算法对相应的超规解的适应度值进行降低等。............ ...
阅读全文
摘要:一个MOP,对于一组给定的最优解集,如果这个集合中的解是相互非支配的,也即两两不是支配关系,那么则称这个解集为Pareto Set 。多目标问题: ...
阅读全文
摘要:np.linspace(start,stop,num)import numpy as npx=np.linspace(1,10,10)print(x)#[ 1. 2. 3. 4. 5. 6. 7. ...
阅读全文
摘要:通常一个切片操作要提供三个参数 [start_index: stop_index: step] alist = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]print(alist)print(...
阅读全文
摘要:np.poly1d()此函数有3个参数1.参数1:系数向量 import numpy as npa= np.array([2,1,1])f = np.poly1d(a)print(f)#2 x2 + 1 x + ...
阅读全文
摘要:https://blog.csdn.net/weixin_37895339/article/details/78442555操作不改变原数据,需要等式赋值numpy.insert(arr,obj,value,ax...
阅读全文
摘要:官方API https://docs.python.org/2/library/stdtypes.html?highlight=str%20isspace#str.isalnum str.isalnum() ...
阅读全文
摘要:http://blog.51cto.com/leejia/2132061?source=dra构造方法1.__init__:指明一个对象初始化的行为,它获取任何传给构造器的参数2.调用x = SomeClass(...
阅读全文
摘要:ThreadPool,DummyPool 线程池ProcessPool 进程池threading 线程 进程和线程的关系:(1)一个线程只能属于一个进程,而一个进程可以有多个线程,但至少有一个线程。(2)资源分配...
阅读全文
摘要:https://docs.python.org/3/library/time.html#module-time time.time()import timeprint(time.time())#浮点数,称为UNI...
阅读全文
摘要:那么为什么需要序列化和反序列化这一操作呢?便于存储。序列化过程将文本信息转变为二进制数据流。这样就信息就容易存储在硬盘之中,当需要读取文件的时候,从硬盘中读取数据,然后再将其反序列化便可以得到原始的数据。在Pyt...
阅读全文
摘要:https://www.cnblogs.com/chenlin163/p/7259061.html利用collections.namedtuple,可以方便的创建对象,import collections MyT...
阅读全文
摘要:1.概念 kd树是一种对k维空间中的实例进行存储以便快速检索的二叉树形结构。构造kd树相当于不断用垂直于坐标轴的超平面对k维空间切分,构成一系列k维超矩形区域。每个节点对应于k维超矩形区域。所有非叶...
阅读全文
摘要:1. 参考点对换操作def PartSort(array, left, right): ''' left到right的错位替换 :param array: :param left: ...
阅读全文
摘要:栈 #栈stack = [3, 4, 5]stack.append(6)stack.append(7)#stack[3, 4, 5, 6, 7]stack.pop()#7stack#[3, 4, 5, 6]sta...
阅读全文
摘要:如: 1, 11, 21, 1211, 111221, ...1 is read off as "one 1" or 11.11 is read off as "two 1s" or 21.21 is read ...
阅读全文
摘要:如:' hello word is good ',返回:good,4python:class Solution: def strc(self, s): end = len(s) ...
阅读全文
摘要:如: a b s,替换:%20%20%20a%20b%20spython:def replaceBlank(str, length): s = '' for i in range(length): ...
阅读全文
摘要:如:'abcdzdcab',返回:cdzdc'abcdzdcab111',返回:cdzdcpython:# 1穷举class Solution: def str(self, s): if no...
阅读全文
摘要:忽略标点空格大小写,判断字母是否回文:如: A man, a plan, a can al: Panama,return true;python:class Solution: def isPalindr...
阅读全文
摘要:如给定:"the sky is blue",返回: "blue is sky the".(多个空格变成一个空格)python:class Solution: def str(self, s): ...
阅读全文
摘要:python:这里的关键首先是通过collections.defaultdict(int) ,创建默认value是int的字典对象,然后对每一个主串字符统计字母次数;然后对子字符串的每一个字母出现一次就对字典中对...
阅读全文
摘要:Python:通过collections的Counter类统计字典,转为判断字典是否相等 import collectionsclass Solution: """ @param s: The fir...
阅读全文
摘要:max(*args, key=None): # 返回最大值max(iterable, *[, default=obj, key=func]) -> valuemax(arg1, arg2, *args, *[, ...
阅读全文
摘要:如:给定acdbcdbdse,查询:dbd。返回5Python:class Solution: def strStr(self, source, target): if source is N...
阅读全文
摘要:1.norm实现数据归一化 import numpy as npx=np.array([[0, 3, 4], [2, 6, 4]])y=np.linalg.norm(x, axis=1, keepdims=Tru...
阅读全文
摘要:可以轻松的使用一下图像功能,官方API:http://effbot.org/imagingbook/from PIL import Imagedef img_show(img): pil_img = Image...
阅读全文
摘要:chr() 用一个范围在 range(256)内的(就是0~255)整数作参数,返回一个对应的字符。语法以下是 chr() 方法的语法:chr(i)参数i -- 可以是10进制也可以是16进制的形式的数字。返回值...
阅读全文
摘要:Counter类的目的是用来跟踪值出现的次数。它是一个无序的容器类型,以字典的键值对形式存储,其中元素作为key,其计数作为value。计数值可以是任意的Interger(包括0和负数)。collections模...
阅读全文
摘要:比较两个向量是否相同直接==就行,但是相近的话就不一样了,当然可以自己实现,这里numpy提供了方法,官方API:https://docs.scipy.org/doc/numpy/reference/genera...
阅读全文
摘要:1.使用 linalg最小二乘法的权重参数(m,c)。import matplotlib.pyplot as pltx=Aarray([[ 0., 1.], [ 1., 1.], [ ...
阅读全文
摘要:通常绘制的散点图是圆形的点,有时候需要区分各种散点可以添加各种颜色,但是为了更加美观,可以选择添加各种类型的图标:这个博客介绍的比较好具体操作时,就是需要添加一个markers图标标记,如'o'表示圆形marke...
阅读全文
摘要:matplotlib绘制中文有乱码,需要手动设置文字,font.sans-serif='SimHei'设置为黑体。注意:需要电脑上有此类且支持中文的字体库,一般Windows系统没事,Linux系统没有的话需要手...
阅读全文
摘要:matplotlib绘图笔记(2)——动态展示matplotlib图像实际上matplotlib有个官方教程提供多种方式的动态图像展示在这:animation;比如这种官方API的例子,就是不断的清除图像画布,然...
阅读全文
摘要:matplotlib绘图笔记(1)——绘制3d图形import matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dfig = plt....
阅读全文

浙公网安备 33010602011771号