05 2017 档案

ga算法
摘要：ga算法是模拟生物进化过程中，适者生存，优胜劣汰规则的一种算法，ga算子有选择，交叉，变异，个体对环境的适应度用适应度函数来衡量，每个个体对应一个适应度值，选择算子淘汰劣质个体，交叉和变异产生新个体，个体组成的种群不断进化，直到产生最优个体。 与普通智能算法不同的是ga算法从多个解开始搜索，对多个值 阅读全文
posted @ 2017-05-25 14:55 semen 阅读(2188) 评论(0) 推荐(0)
粒子群算法
摘要：粒子群算法是基于鸟群觅食的行为提出来的，每一个单一个体鸟视为搜索空间的一个粒子，都被视为问题的可能解，每个粒子都有一个由待优化函数决定的适应度函数，通过适应度值迭代更新粒子的位置和速度 粒子速度和位置的维度由问题的未知量决定，例如，求sin(∑i=1 to kxi-4)的最小值，如果k=2,那么速度 阅读全文
posted @ 2017-05-21 21:55 semen 阅读(560) 评论(0) 推荐(0)
bp神经网络的实现C++
摘要：#include #include #include using namespace std; #define innode 2 #define hiddennode 10 #define outnode 1 #define sample 4 class bpnet { public: double w1[hiddennode][innode]; double... 阅读全文
posted @ 2017-05-20 22:32 semen 阅读(2096) 评论(0) 推荐(0)
理解RNN
摘要：RNN与FNN的不同之处在于隐含层各个神经元之间是相互连接的，隐含层的输入包括正常输入和反馈输入（也就是上一个时刻隐含层的输出反馈个下一个时刻隐含层的输入），其他结构和BP神经网络相似 开始RNN的学习： 输入层的输出：x 隐含层的输入：Ih 隐含层的输出：Oh 输出层的输入：Io 输出层的输出：O 阅读全文
posted @ 2017-05-16 17:04 semen 阅读(1147) 评论(0) 推荐(0)
感知器的实现C++
摘要：#include #include #include using namespace std; #define innode 2 #define outnode 1 #define sample 4 class perceptron { public: perceptron(); ~perceptron(); double w[outnode][innode]; ... 阅读全文
posted @ 2017-05-16 15:55 semen 阅读(1038) 评论(0) 推荐(0)
线性神经网络的实现C++
摘要：线性神经网络实现或运算 阅读全文
posted @ 2017-05-16 14:17 semen 阅读(255) 评论(0) 推荐(0)
径向基神经网络
摘要：预备知识： cover定理： 在复杂的模式分类问题中，将数据映射到高维空间比映射到低维空间更可能线性可分 径向基函数： 空间中的任意点到某一中心之间的欧式距离(也可以是其他的距离函数)的单调函数 径向基神经网络是由一个三层的结构组成，包括输入层，隐含层，输出层，隐含层的激活函数一般是非线性的径向基函 阅读全文
posted @ 2017-05-10 15:52 semen 阅读(847) 评论(0) 推荐(0)
Hopfield神经网络
摘要：预备知识 先来说说前馈型神经网络与反馈型神经网络的区别： 前馈型神经网络不考虑输入和输出在时间上的滞后性，只考虑输入到输出的映射关系，反馈型神经网络则考虑了输入到输出之间的延迟 再来说说hebb学习规则： 两个神经元同时兴奋或抑制，那么它们的连接权值将增大，如果两神经元不是同时兴奋或抑制，那么它们的 阅读全文
posted @ 2017-05-09 21:31 semen 阅读(2437) 评论(0) 推荐(0)
BP神经网络
摘要：BP神经网络是一种按误差反向传播的多层前馈神经网络，含有一个或多个隐含层，其拓扑结构与一般神经网络相似，BP神经网络的隐含层激活函数一般是sigmoid函数，输出层如果是函数逼近，其激活函数一般是线性函数，分类问题其激活函数一般是sigmoid函数 BP神经网络的学习一般分为两部分： 一：正向计算各 阅读全文
posted @ 2017-05-08 21:46 semen 阅读(1001) 评论(0) 推荐(0)
线性神经网络
摘要：线性神经网络的结构与感知器相似，激活函数采用线性函数purelin，假设输入样本为m维向量x={p1,p2,p3,...pr},网络有s个神经元，则第j个神经元的输出为vj: vj=Σi=1 to rpiwji+bj 网络的第j个神经元的最终输出yj=purelin(vj) 将上述写成矩阵形式： p 阅读全文
posted @ 2017-05-07 16:07 semen 阅读(309) 评论(0) 推荐(0)
单层感知器
摘要：单层感知器是最基本的神经网络，采用hardlim或hardlim作为激活函数，下面是其拓扑结构： 该感知器有s个神经元，m个输入，n个输出，先给出一些定义： 为了方便表示，将样本向量的第一个分量设为1，p(n)=[1,p1(n),p2(n),...,pm(n))，与之对应地权值矩阵的第一列设为每个神 阅读全文
posted @ 2017-05-07 15:10 semen 阅读(604) 评论(0) 推荐(0)
K-means聚类
摘要：给定样本集D={x1,x2,x3,...xm},K-means算法划分所得簇C={c1,c2,c3,...,ck}的最小平方误差，k表示将数据划分为K簇 E=∑i=1 to k∑x->ci||x-ui||2 ui为簇中心，ui=∑x->cix/|ci| 其中|ci|表示该簇中的样本数，直接计算上面的 阅读全文
posted @ 2017-05-05 22:57 semen 阅读(173) 评论(0) 推荐(0)
支持向量机
摘要：上图中2为划分超平面： WTx+b=0 假设超平面能将训练样本真确分类，yi=1时WTx+b>0 yi=-1 时WTx+b<0,令1和3表达式为 WTx1+b=-1 和 WTx2+b=1 故两支持向量之间的距离为 WT(x1-x2)=2 两边取范数： ||W||||x1-x2||cosθ=2 而|| 阅读全文
posted @ 2017-05-05 15:12 semen 阅读(217) 评论(0) 推荐(0)
adaboost原理
摘要：一般来说 adaboost算法包括三步： 1 初始化训练数据的权值，对于有N个样本的数据集，所有样本的初始权值都是1/N 2 训练弱分类器，将前一个弱分类器错误分类的样本的权值加大，减小被正确分类的样本的权值，这样下一个弱分类器就会重新重视被误分类的样本 3 弱分类器组合成强分类器，减小分类误差率大 阅读全文
posted @ 2017-05-04 21:45 semen 阅读(180) 评论(0) 推荐(0)
朴素贝叶斯
摘要：朴素贝叶斯的基本思想：对于给出的待分类项，在给出待分类项的条件下求出各个类别出现的概率，哪个类别的概率大，该分类项就属于该类别 算法描述： (1) 设样本x=(a1,a2,...an) ai为特征的取值 (2) 类别集合C={c1,c3,...ck) 表示有k个类别 (3) 计算p(c1|x),p( 阅读全文
posted @ 2017-05-04 20:05 semen 阅读(161) 评论(0) 推荐(0)
KNN算法
摘要：KNN算法的核心思想：如果一个样本在特征空间中的k个最邻近的样本大多数属于某一类别，则该样本也属于该类别 KNN算法的结果很大程度上取决于K的取值，下面进行说明： 如果k=5 则上图中的红点属于三角形所属类，因为三角形所属类占3/5，而四边形类只占了2/5，如果k=11,则红点属于四边形类，四边形类 阅读全文
posted @ 2017-05-04 17:39 semen 阅读(209) 评论(0) 推荐(0)
决策树
摘要：预备知识： 信息熵：信息量的期望，反映随机变量的不确定性 H(X)=-∑x->Xp(x)log(p(x)) 通俗的理解信息熵 设类别C={c1,c2,...ck) 记分类标记ck的样本数为|ck|,样本为D,样本总数|D| H(D)=-∑|ck|/|D|log(|ck|/|D|) 其中k为类别标记数 阅读全文
posted @ 2017-05-04 16:19 semen 阅读(203) 评论(0) 推荐(0)
信息熵，联合熵，交叉熵，相对熵，条件熵
摘要：1 信息熵：信息量的期望，反映随机变量的不确定性 H(X)=-∑x→Xp(x)log(p(x)) H(X)=I(X;Y)+H(X|Y) 2 联合熵：表示多个随机变量一起发生的不确定性 H(X,Y)=-∑x->X∑y->Yp(x,y)log(p(x,y)) H(X,Y)=H(X)+H(Y|X) 3 条 阅读全文
posted @ 2017-05-03 22:02 semen 阅读(678) 评论(0) 推荐(0)
logistic回归模型
摘要：logistic回归边界形式为： θ0+θ1x1+θ2x2+...+θdxd=∑θixi =θTx 其中i=0,1,2,,,d(d为特征数） 分类预测函数为： hθ(x)=1/(1+exp(-θTx) hθ(x)表示类别为1的概率，可以得到如下： P(y=1|x)=hθ(x） 1 P(y=0|x)= 阅读全文
posted @ 2017-05-03 20:03 semen 阅读(505) 评论(-2) 推荐(0)
线性回归模型
摘要：给定由d个特征描绘的样本x=(x1;,x2;...;xd)，其中xi表示样本的第i个特征的取值，故预测函数的一般形式为 f(x)=w1x1+w2x2+...+wdxd+b 一般写成向量形式 f(x)=wx+b 首先讨论最简单的形式：一元线性回归模型，即数据集只含一个特征 f(xi)=wxi+b 模型 阅读全文
posted @ 2017-05-03 16:21 semen 阅读(397) 评论(0) 推荐(0)
生成模型和判别模型
摘要：对于输入x,类别标签Y: 判别模型：由数据直接学习决策面Y=f(x)或条件概率P(Y|x)作为预测模型 生成模型：由数据学习联合概率分布P(x,Y)，然后求出条件概率P(Y|x)作为预测模型 模型区别： 判别模型寻找不同类别之间的分离面，反映不同类别之间的差异。 生成模型通过统计反映同类数据的相似度 阅读全文
posted @ 2017-05-02 22:05 semen 阅读(150) 评论(0) 推荐(0)