风来水面

摘要： When does a digraph admit a doubly stochastic adjacency matrix Doubly Stochastic: 对于每一个节点，如果输入权重和输出权重都等于1，那么就是双随机的有向图。简而言之，如果允许双重随机邻接矩阵的有向图，称为具有双重随机性质 阅读全文

摘要： 简介：避免数据融合中心（a data fusion center）或是远程通信(a long distance communication)又或是提供更好的负载平衡（better load balance），即一般的分布式计算的背景。 特点:exact：准确收敛constant stepsize：固 阅读全文

摘要： Asynchronous Gossip-Based Random Projection Algorithm Over Networks 概述本篇论文讨论的是在有向平衡的拓扑结构下的，带约束的分布式次梯度投影算法。首先，根据次梯度下降算法的性质，步长必定是逐渐下降的才能最终收敛于最优解；对于一个固定的 阅读全文

摘要： Consensus-Based Distributed Optimization: Practical Issues and Applications in Large-Scale Machine Learning 摘要 本文讨论了实际的基于共识的分布式优化算法。在基于共识的优化算法中，节点用共识迭 阅读全文

摘要： 原理 将\(c\)表示成\(c=(c_B,c_N)\),其中\(c_B\)表示对应雨基变量的分量，\(c_N\)对应非基变量。有：$$f_0=cx^{(0)} =(c_B,c_N)\begin{bmatrix} B^{-1}b \\ 0\end{bmatrix}=c_BB^{-1}b$$ 那么，根据 阅读全文

摘要： 标准形式 $$ \begin{aligned}\min \quad &\bf{cx} \\s.t. \quad &\bf{Ax}=\bf{b}\\&x\ge0\end{aligned}$$其中\(A\)是\(m\times n\)矩阵，\(c\)是\(n\)维行向量， \(b\)是\(m\)维列向量 阅读全文

摘要： 线性空间 线性空间又称为向量空间。 线性空间满足两大预算运算： - 加法运算- 纯量乘法运算 这两个运算有8个特性： - 加法交换性- 加法结合性\(\alpha+\beta=\beta+\alpha\)- 加0得到自身（零元性）- 负元素性- 乘1得到自身- 乘法结合律- 乘法交换律\((k+l) 阅读全文

摘要： Pareto optimality 帕雷托最优，也称为Pareto efficiency。帕雷托最优是指资源分配的一种理想状态。给定固有的一群人和可分配的资源，如果从一种分配状态到另一种状态的变化中，在没有使任何人境况变坏的前提下，使得至少一个人变得更好，这就是帕雷托改善。帕雷托最优的状态就是不可能 阅读全文

摘要： Strong connectivity \(\quad\)强连通性。图形拓扑的基本概念之一，一个图的每一个顶点(Vertex)如果能到达图中的其余任何顶点，那么这个图就是强连通的。 Closed Convex Function \(\quad\)闭凸函数。在数学中，对于每一个\(\alpha\)，子 阅读全文

摘要： 强凸性多用在优化中(Optimization)，特别是保证很多基于梯度下降方法的算法的线形收敛速率的条件之一。 定义 一个可微函数强凸的定义是： $$f(y) \ge f(x) +\nabla f(x)^T(y-x)+\frac{u}{2} \Vert y-x \Vert ^2 $$ 值得注意的是， 阅读全文