soms de 学习笔记

摘要： 1. modeling as function approximation统计中一个非常重要的任务是刻画一组变量之间的关系。在回归问题中，往往其中一个变量是我们特别感兴趣的，这个变量通常称为response, dependent variable, 记为y；其他的变量，x1,x2,...xk,通常称为 explanatory, regressor, or independent variables, 主要用于解释或预测y的取值，机器学习文献喜欢称其为对象的特征表示。特征变量与response之间的关系，希望能够用某个函数f来表示：y ~ f(x1,x2,...,xk)comments:1)上述 阅读全文

摘要： According tothis page, if we put the following code in the head of html page<script src="http://latex.codecogs.com/latex.js" type="text/javascript"></script>it will show you the $latex$ symbols correctly, like this,$ T:V \rightarrow W$ ,$v \in T $$ T(v) = Av \in W$--- 阅读全文

摘要： 表示定理回答这样一个问题，线性空间中的点是否存在某种统一的，唯一的表示？如果存在，它可以表示成什么样子？由于线性空间有很多不同种类，如Hilbert Space， RKHS等，因此不同的线性空间又有不同的表示定理。1）有限维线性空间有限维线性空间中的点如何表示？比这个问题更基本的是，有限维线性空间如何表示？按定义，有限维线性空间是这样一个集合，这个集合对加法和数乘运算封闭。只可惜这个列举法的定义在实践中太难使用了，我们不可能去挨个检测线性空间每个点的性质，太麻烦了！一个天才的idea是从这个集合中选取有限多个最重要的对象来表示这个空间。如果能够办到，则我们就用这n个最重要的对象来刻画整个线性空 阅读全文

摘要： 所有的有限维空间之间的线性变换都可以表示成矩阵乘法，for a fixed bases。换言之，每个给定了基的线性空间变换总与唯一一个矩阵相对应。设T：V->W 是从ｎ维线性空间Ｖ到m维空间Ｗ的线性映射。要把Ｔ表示成矩阵乘法，就是for $v \in T $, $T(v) = Av \in W$.由表示定理，我们知道Ｖ中任意一个对象ｖ都可表示为Ｖ的基{v1,v2,...Vn}的线性组合，$v= a_1v_1 +a_2v_2+...+a_nv_n$, so,$T(v) = a_1 T(v_1) +a_2 T(v_2)+...+a_n T(v_n)$由于我们知道$T(v_i) $一定是Ｗ中的 阅读全文

摘要： 当我们在提到Hilbert space的时候，会首先联想到它是一个完备的内积空间，“完备"表示我们用“内积”定义的度量来定义收敛时，不用担心“跑出去”的问题，例如n维欧氏空间就是完备的内积空间。但在机器学习中，我们更关心无穷维完备内积空间，换言之，函数构成的空间，如所谓square-integrable function space L2,这个空间中每个元素都由平方之后可积的函数，可以在这个空间中定义代数运算，使之成为一个内积空间，并且可以证明，在适当的条件下，这样的空间是完备的。在这样的Hilbert 空间中，下一步关心的事情就是如何一般性的表示其中的元素，最简单的方法就是把任何一 阅读全文

摘要： 紧性(Compactness)是讨论一般集合X时常常提到说的术语，那么，当你说一个集合“紧”时，你到底在说它有什么性质？为什么你对那些有紧性的集合感兴趣，而对“不紧”的集合却很头疼？翻开经典的泛函教科书，比如夏道行的《实变函数论与泛函分析》下册第79页说，度量空间R中的致密集A是指凡A中序列皆有子列收敛于R，而若A是闭集，则这些收敛的子列必收敛到自己中某点，此时，A可称紧集，即致密闭集就是紧集。第87页继续说，集合A是紧集的充要条件是，A中任意一列都有子列收敛于A内某点，这等于是重复说了一下定义。Kreyszig的《Introductory functional Analysis with A 阅读全文