什么样的空间是可分的？

当 我们在提到Hilbert space的时候，会首先联想到它是一个完备的内积空间，“完备"表示我们用“内积”定义的度量来定义收敛时，不用担心“跑出去”的问题，例如n维欧氏空 间就是完备的内积空间。但在机器学习中，我们更关心无穷维完备内积空间，换言之，函数构成的空间，如所谓square-integrable function space L2,这个空间中每个元素都由平方之后可积的函数，可以在这个空间中定义代数运算，使之成为一个内积空间，并且可以证明，在适当的条件下，这样的空间是完 备的。

在 这样的Hilbert 空间中，下一步关心的事情就是如何一般性的表示其中的元素，最简单的方法就是把任何一个元素唯一表示成关于正交基的线性组合。可能造成麻烦的事情就在这 里，你如何保证无穷维Hilbert空间中的正交基的个数是可数多个？答案是，该hilbert空间是可分的（separable）。那么什么是可分？

从 字面上想像，一个空间可分，由于空间就是集合，因此大致是说这个集合可分成多个子集的并，其实完全不是这样trival. 数学中的定义，有时候很奇怪，实际上， 空间可分与否，和是否compact一样，不是在说划分，而是在说它的“大小”！ －－ 如果度量空间X和一个可数集合差不多大，则它是一个可分空间。 

解释，1) 可数集(countable set)，是包含无穷多个元素的那类集合中最小的一种，比如自然数集，有理数集，整数集等，它们的大小是一样的，通常我们只会用到这类集合。既然一个可分空间和一个可数集差不多大，那么这个空间也就大不到哪里去。

           2) “差不多”是差多少？精确的说，只差一个“boundary”，注意，如果你往一杯水中撒一把沙子，则沙子集合与水集合的boundary是“无处不在” 的。更精确的说，这个可数集是这个可分空间的稠密子集(dense set)。稠密的意思是说，水与沙子就只差边界那么多，如果把边界填满，二者就一样，如同你把有理集之间的空隙用无理数填满，你得到实数集一样。正式的说 法是，如果一个子集F的closure等于母集合A，那么F就在A中稠密，换言之，A应当是包含F的最小闭集。直观上说，A是和F大小最接近，最“差不 多”大小的集合。例子，Weierstrass approximation 定理说，在compact domain上，所有多项式函数构成的“子空间”在所有连续函数构成的“母空间”中是稠密的，这样我们知道，大致上任何一个连续函数都可由某个多项式函数 来近似。这就是我们在做回归时经常假定多项式函数的原因。

       可分性概念的用处还体现在下面。由于度量空间的很多性质都是用开集概念来表述的，例如，如果我们知道了一个度量空间中所有开子集，我们就知道了该空间中所 有的闭子集，也能知道这个空间中哪些序列是收敛的的，哪些不收敛（如果该序列收敛，必有无穷多个元素位于某个开集中）。因此，研究一个空间的开子集结构， 我们能够了解该空间的一般性质，但麻烦的是，如果开集太多，研究起来也很不爽。好了，对可分空间来说，你不用担心这个问题，因为在可分空间中，只有可数个 开子集是重要的，所有其他开子集都可由这可数个子集来描述。因此我们喜欢可分的度量空间，比如可分的hilbert空间。