无住生心-禅观模型

慧能禅师讲“因无所住，而生其心”，我个人的理解是：观察本身没有生相，无相而自生相，所谓心。
因为工作，我把这两个概念关联起来了。

1. 背景同步

• 自然语言的模型的一个基本操作，即，将文字映射到独热向量，也即1-of-V向量，始自Bengio et al. (2003) — A Neural Probabilistic Language Model (NNLM)。
• 独热向量处理起来有些笨拙，所以引入了一个映射函数，投影到语义空间，得到稠向量，这一过程被称为嵌入。
• 图片-语言模型里，将图片数据切为patch，构成了便于计算核心处理的数据。
• patch处理起来有些笨拙，所以也通过线性映射，投影到语义空间。

2. 思考

• 在语义空间，随着知识的注入，网络中的系数不断变化， 不同的“念”在语义空间形成关联结构。
• 推理时，输入的文字将依次激活不同的“念”，从而得到不同的输出。

3. 无所住

• 在原始文字转为独热向量，或者图片转为patch时，信息似乎并未增减，只是变得【能】处理了。
• 在独热向量和patch经过线性映射的环节中，信息被压缩或者变换了，这使得数据【易】处理了。

4. 生其心

• 如果模型参数是随机的，内部除了网络连接之外，并未形成“念”，或者将概念。
• 经过与真实世界互动后，模型参数形成了特定的结构，其心可见。

5. 特征工程

• 在无监督训练中，引入手工特征其实是一种“着相”，但这种操作可能会带来有益影响。
• 因为手工特征其实是人在“无所住”又“生其心”之后得到的“觉者心得”。