oft-OPT资料

oft：
https://github.com/zqiu24/oft
https://oft.wyliu.com/
Controlling Text-to-Image Diffusion by Orthogonal Finetuning
https://arxiv.org/pdf/2306.07280

正交的参数优化训练
https://github.com/wy1iu/OPT
Learning towards Minimum Hyperspherical Energy
https://wyliu.com/papers/LiuNIPS18_MHE.pdf

这个经典的物理和数学问题。
Thomson problem, where one seeks to find a state  that distributes N electrons on a unit sphere as evenly as possible with minimum  potential energy.
汤姆逊问题（Thomson Problem）问的是：如何将 N 个互斥的电子放到一个球面上，使它们排布得“尽可能均匀”，从而让整个系统的静电势能最小？

简单来说，想象你有N个磁铁，它们互相排斥，现在要把它们都限制在一个篮球表面上。它们会自动调整位置，直到谁也“推”不动谁，达到一个最稳定、最“舒服”的平衡状态。汤姆逊问题就是要找出这个最终的平衡布局是什么样的。

核心思想：寻找最低能量的稳定状态
这个问题的物理基础是库仑定律。电子都带负电，会相互排斥，排斥力的大小与它们之间距离的平方成反比。当把它们限制在球面上时，它们会自发地移动，尽可能地远离彼此，以减小整个系统的总排斥能量。

当系统总能量达到最小值时，每个电子受到的合力都指向球心（被球面的约束力抵消），在球面上的分力为零，系统达到一个稳定的平衡状态。这个状态下的电子排布就是汤姆-逊问题的解。

数学表达
假设球面的半径为 r=1（单位球面），上面有 N 个电子。根据库仑定律，系统的总势能 U 是所有电子对之间势能的总和：

r_ij是第 i 个电子和第 j 个电子之间的直线距离。
汤姆逊问题的目标就是找到这 N 个电子在球面上的坐标位置，使得 U(N) 这个值最小。

这个问题听起来简单，但实际上非常困难。
没有通用公式：除了少数几个特殊的 N 值，没有一个通用的公式可以直接计算出任意 N 个电子的最优布局

局部最小值陷阱：随着 N 的增加，可能的稳定排布方式会指数级增长，形成非常多的“局部最小值”。也就是说，系统可能达到一个看起来稳定的状态，但它不是全局能量最低的状态。找到那个真正的全局最小值非常具有挑战性。

计算复杂性：当 N 很大时，这个问题是一个高度复杂的非凸优化问题，需要强大的计算能力和算法来求解。

尽管如此，对于一些特定的 N 值，其最优解是已知的，并且往往对应着非常对称的几何结构：

N (电子数) 最优排布的几何形状
2 两个电子在球面的对跖点（直径两端）
3 等边三角形（顶点在球面的大圆上）
4 正四面体
5 三角双锥
6 正八面体
8 四角反棱柱（扭曲的立方体）
12 正二十面体
20 正十二面体

有趣的是，当 N=7 时，最优解就不是一个规则的多面体了，这体现了问题的复杂性。

汤姆逊问题不仅是一个有趣的理论问题，它在很多科学领域都有实际应用：
化学：预测分子的空间结构，例如富勒烯（如 C60 足球烯）的碳原子排布。
物理：解释原子核内质子的排布、胶体颗粒的自组装等。
生物学：研究病毒外壳（衣壳）的蛋白质亚基如何排列。
计算机科学：用于生成球面上的均匀采样点，在计算机图形学和数值模拟中非常有用。