Engineblogs

摘要： 作者： 梅拉妮·米歇尔（侯世达的学生） 引言：寻找“机器中的幽灵” 本书作者梅拉妮·米歇尔是《集异壁》（GEB）作者侯世达的学生。这一师承关系决定了本书探寻复杂性的独特视角：生命、智能和复杂系统，本质上可能都是某种形式的“怪圈”或“自指”（Self-Reference）。 如果你觉得“自指”只是“这 阅读全文

摘要： 摘要 宇宙的基本背景是热力学第二定律所描述的熵增（混乱度增加）。然而，信息与结构却能在局部逆流而上，无论是数学、物理、生物与计算机科学中都可以看到信息和结构。 本文希望探讨 “如何在混乱中建立秩序”。第一部分探讨秩序建立的数学基石，即欧拉公式提供的最小信息闭环与凯莱-迪克森构造揭示的“等价交换”原则 阅读全文

摘要： 摘要 宇宙的基本背景是热力学第二定律所描述的熵增（混乱度增加）。然而，信息与结构却能在局部逆流而上，无论是数学、物理、生物与计算机科学中都可以看到信息和结构。 本文希望探讨 “如何在混乱中建立秩序”。第一部分探讨秩序建立的数学基石，即欧拉公式提供的最小信息闭环与凯莱-迪克森构造揭示的“等价交换”原则 阅读全文

摘要： [上篇 blog 科学发现：不同领域知识的共享表征空间、一致性约束 ]的核心机制 “科学发现=把不同领域知识强制放进\(\color{blue}{共享表征空间}\)，再用\(\color{blue}{一致性约束}\)逼出\(\color{blue}{结构}\)”，可以一一对应成三个AI可训练的对象， 阅读全文

摘要： 把科学发现粗略抽象成一个问题：。 我们面对一堆现象（观测、实验、经验规律）。 我们想找一个模型/理论来解释并预测它们。 但“所有可能模型”太多，几乎无限。 科学发现真正的瓶颈常常不是“没有模型”，而是“模型空间太大”。跨域突破的高杠杆做法，不是盲目扩大搜索，而是： 先选择一个更统一的表示，把原本分离 阅读全文

摘要： 超越O(n²)复杂度：挑战Transformer架构的前沿模型 一、 卫冕冠军的“阿喀琉斯之踵” 在介绍挑战者之前，我们必须首先理解Transformer架构为何会暴露出弱点。其强大的全局信息交互能力源于自注意力机制，但这同样也是其致命弱点：二次方复杂度 (Quadratic Complexity) 阅读全文

摘要： 本文档深入探讨了如何利用光学原理进行高效计算，特别是针对现代AI模型中常见的卷积和矩阵乘法操作。内容涵盖了从加速卷积的深层数学基础，到实现这些计算的各种前沿光学器件，最后对光学加速器与传统GPU进行了系统级的比较与展望。 一、 卷积计算的数学加速原理：FFT的魔法 长卷积运算是许多现代AI模型（如H 阅读全文

摘要： 十分精彩，一些观点可谓石破惊天。1905年前后物理学群星璀璨，这一个世纪似乎基础理论停滞了。但Wolfram即将带来一次新的科学大突破（AI、生物、物理等），拭目以待，智人能上一个新台阶。 1. 意识」是「以某种方式对计算进行整合和线性化呈现」 与其说意识是要「超越」广义的智能或一般的计算复杂性，毋 阅读全文

摘要： 高斯过程的核函数设计在高维空间（如图像像素、文本词向量）中难以有效捕捉复杂特征，主要原因包括以下几点： 1. 核函数的局部性限制 大多数传统核函数（如RBF核、Matern核）基于局部相似性假设，即两个数据点的相似性随其欧氏距离的增大而指数衰减。这种假设在高维空间中面临以下问题： 维数灾难：高维空间 阅读全文

摘要： 问题1. 问及transformer极限scale，以及高维空间优化的本质、计算不可约等问题，deepseek的回答 回答：您提出的问题触及了复杂系统理论的核心奥秘。让我们从数学本质层面剖析这个命题： 自指方程W=σ(WX)的涌现机制： 当参数量达到1e23量级时，网络权重矩阵W的维度将满足dim( 阅读全文