yijun0730

摘要： 1. 间隔与支持向量 数据集$D = \{ ({{\bf{x}}_1},{y_1}),({{\bf{x}}_2},{y_2}),...,({{\bf{x}}_m},{y_m})\} $，其中${{\bf{x}}_i} = \{ {x_{i1}},{x_{i2}},...,{x_{id}}\} $，包 阅读全文

摘要： 1. 构建一颗树 一棵树包含一个根节点、若干个内部结点和若干个叶节点。从根节点开始，经由若干个内部结点，到不同的分支，最终到达不同的叶节点。 根节点包含了样本全集，叶节点对应了决策结果，从根节点到每个叶节点的路径对应了一个判定测试样本。 对于一棵用于分类的决策树来说，关键就是若干个内部结点的确定。 阅读全文

摘要： 1.线性回归 对包含$d$个属性描述的数据${\bf{x}} = \{ {x_1},{x_2},...,{x_d}\}$，建立一个加权线性模型，$f({\bf{x}}) = {\omega _1}{x_1} + {\omega _2}{x_2} + ... + {\omega _d}{x_d} + 阅读全文

摘要： 上一篇动态规划讲的是在马尔科夫模型$<S, A, P, R, \gamma>$完全已知的情况下，利用概率全展开求解最优策略。可是有很多实际的情况是，我们没办法获得准确的分布来全概率展开的，那么对于这样马尔科夫模型不完全已知，即转移概率未知，不能全概率展开的情况我们应该怎么做呢？这就是强化学习的核心了 阅读全文

摘要： 在马尔科夫模型（MDP）完全已知的情况下，我们可以用动态规划来求解最优策略，求出在给定状态$s$下，应该选择哪一个 下个状态$s'$，这样使得累积奖励最大。 因为需要求解的是累积奖励，所以单纯的贪婪即时奖励最大的策略是不可行的。 所以我们引入了能够包含未来奖励的v值（和q值），在与环境的交互过程中， 阅读全文

摘要： 马尔科夫特性： 下一时刻的状态只与现在的时刻的状态相关，与之前的时刻无关，即状态信息包含了历史的所有相关信息。 马尔科夫奖励过程，$<S, P, R, \gamma>$： $S$是有限状态集 $P$是状态转移概率矩阵，${p_{ss'}} = {\rm P}[{S_{t + 1}} = s'|{S_ 阅读全文

摘要： 本文以二维线性拟合为例，介绍批量梯度下降法、随机梯度下降法、小批量梯度下降法三种方法，求解拟合的线性模型参数。 需要拟合的数据集是 $(X_1, y_1), (X_2, y_2)..., (X_n, y_n)$，其中$X^i=(x_1^i, x_2^i)$，表示2个特征，$y^i$是对应的回归值。 阅读全文

摘要： 根据坐标点，计算曲线与坐标轴的面积。 1. trapz函数 利用梯度规则（Trapezoidal rule）求解积分。 2. simps函数 利用辛普森积分法（Simpson's rule），以二次曲线逼近的方式取代矩形或梯形积分公式，以求得定积分的数值近似解。 3. 利用多边形求解 利用Shoel 阅读全文