摘要: [TOC] "Proximal Algorithms" 这一节,介绍并行算法的实现. 问题的结构 令$[n] = \{1, \ldots, n\}$. 给定$c \subseteq [n]$, 让$x_c \in \mathbb{R}^{|c|}$表示向量$x\in \mathbb{R}^n$的一个 阅读全文
posted @ 2019-06-11 09:55 馒头and花卷 阅读(279) 评论(0) 推荐(0)
摘要: [TOC] "Proximal Algorithms" 这一节介绍了一些利用proximal的算法. Proximal minimization 这个相当的简单, 之前也提过,就是一个依赖不动点的迭代方法: 有些时候$\lambda$不是固定的: $$ x^{k+1} := \mathbf{prox 阅读全文
posted @ 2019-06-09 21:03 馒头and花卷 阅读(677) 评论(0) 推荐(0)
摘要: [TOC] "Proximal Algorithms" 这一节,作者总结了一些关于proximal的一些直观解释 Moreau Yosida regularization 内部卷积(infimal convolution): $$ (f \: \Box \: g)(v)=\inf_x (f(x)+g 阅读全文
posted @ 2019-06-08 22:50 馒头and花卷 阅读(735) 评论(0) 推荐(0)
摘要: [TOC] 可分和 如果$f$可分为俩个变量:$f(x, y)=\varphi(x) + \psi(y)$, 于是: 如果$f$是完全可分的,即$f(x) = \sum_{i=1}^n f_i (x_i)$: $$ (\mathbf{prox}_f(v))_i = \mathbf{prox}_{f_ 阅读全文
posted @ 2019-06-08 12:08 馒头and花卷 阅读(403) 评论(0) 推荐(0)
摘要: [TOC] "Proximal Algorithms" 定义 令$f: \mathrm{R}^n \rightarrow \mathrm{R} \cup \{+ \infty \}$为闭的凸函数,即其上镜图: $$ \mathbf{epi} f = \{ (x, t) \in \mathrm{R}^ 阅读全文
posted @ 2019-06-03 18:38 馒头and花卷 阅读(1102) 评论(0) 推荐(1)
摘要: [TOC] 之前在legend的使用中,便已经提及了transforms,用来转换参考系,一般情况下,我们不会用到这个,但是还是了解一下比较好 |坐标|转换对象|描述| | | | | |"data" |ax.transData |数据的坐标系统,通过xlim, ylim来控制| |"axes"|a 阅读全文
posted @ 2019-05-31 21:57 馒头and花卷 阅读(1809) 评论(0) 推荐(0)
摘要: [TOC] 我们可以通过path来修饰Artist, 通过set_path_effects 添加阴影 比之Normal更加有意思的是添加阴影 注意到,上面的例子中,我们用path_effects属性,分别为text和line2D添加了阴影 使Artist变得突出 想要完成这一步不敌,利用stroke 阅读全文
posted @ 2019-05-30 19:52 馒头and花卷 阅读(1500) 评论(0) 推荐(0)
摘要: [TOC] Path 通过一个(N, 2)的包含(x, y)的点来实例比如,我们想要画一个标准的正方形: 注意到,上面的codes包含了一些path的种类: STOP: 标志着整个path的结束 MOVETO: 提起笔,移动到当前给定的位置 path的第一个点必须是MOVETO 表示提起笔? LIN 阅读全文
posted @ 2019-05-29 21:43 馒头and花卷 阅读(571) 评论(0) 推荐(0)
摘要: [TOC] 9.1 调试 定期地进行备份是程序设计中地一个关键环节——不管我们的机器,操作系统多么可靠以及发生失败的概率多么微乎其微——因为失败仍然是可能发生的。备份一般都是粗粒度的——备份文件是几小时之前的,甚至是几天之前的。 9.1.1 处理语法错误 上面的例子中,if后面忘记加了“:”,所以报 阅读全文
posted @ 2019-05-27 21:38 馒头and花卷 阅读(296) 评论(0) 推荐(0)
摘要: [TOC] "" 引 这篇论文比较短,先看了这篇,本来应该先把ADAGRAD看了的。普通的基于梯度下降的方法,普遍依赖于步长,起始点的选择,所以,受ADAGRAD的启发,作者提出了一种ADADELTA的方法。 $$ \Delta x_t = \frac{\mathrm{RMS}[\Delta x]_ 阅读全文
posted @ 2019-05-24 10:50 馒头and花卷 阅读(362) 评论(0) 推荐(0)
摘要: [TOC] "Efron B, Hastie T, Johnstone I M, et al. Least angle regression[J]. Annals of Statistics, 2004, 32(2): 407 499." 引 在回归分析中,我们常常需要选取部分特征,而不是全都要,所 阅读全文
posted @ 2019-05-23 11:30 馒头and花卷 阅读(979) 评论(1) 推荐(0)
摘要: [TOC] "matplotlib" 教程学习笔记 python import numpy as np import matplotlib.pyplot as plt from matplotlib.gridspec import GridSpec def index_to_coordinate(i 阅读全文
posted @ 2019-05-19 21:26 馒头and花卷 阅读(2164) 评论(0) 推荐(0)
摘要: [TOC] Momentum Momentum的迭代公式为: $$ v_t = \gamma v_{t 1} + \eta \nabla_\theta J(\theta) \\ \theta=\theta v_t $$ 其中$J(\cdot)$一般为损失函数。我们知道,一般的梯度下降,是没有$\ga 阅读全文
posted @ 2019-05-19 11:20 馒头and花卷 阅读(519) 评论(0) 推荐(0)
摘要: [TOC] "matplotlib" 教程学习笔记 如何使用tight_layout? tight_layout作用于ticklabels, axis, labels, titles等Artist 简单的例子 下面的例子和constrained_layout中的是一样的,notebook没有显示出其 阅读全文
posted @ 2019-05-17 20:57 馒头and花卷 阅读(5251) 评论(0) 推荐(0)
摘要: [TOC] "matplotlib" 教程学习笔记 如何干劲利落地使用constrained_layout参数来画图 constrained_layout参数会自动地调整subplots和修饰的位置 constrained_layout和tight_latout比较相似,不过是利用一个约束器?来完成 阅读全文
posted @ 2019-05-16 21:44 馒头and花卷 阅读(1474) 评论(0) 推荐(0)
摘要: [TOC] "matplotlib" 教程学习笔记 如何创建网格形式的axes的组合呢: 1. subplots() 2. GridSpec 3. SubplotSpec 4. subplot2grid() 第一个例子是利用subplots()和gridspec来创建一个$2\times 2$的网格 阅读全文
posted @ 2019-05-15 21:33 馒头and花卷 阅读(589) 评论(0) 推荐(0)
摘要: [TOC] "matplotlib" 教程学习笔记 cycler 在教程开始之前,我们需要了解cycler模块 'color''r''g''b' 3 {'color'} {'color': 'r'} {'color': 'g'} {'color': 'b'} 'ec''r''g''b' ValueE 阅读全文
posted @ 2019-05-14 18:31 馒头and花卷 阅读(517) 评论(0) 推荐(0)
摘要: [TOC] matplotlib.pyplot.legend 在开始教程之前,我们必须先了解matplotlib.pyplot.legend(),该函数可以用以添加图例。 方法1自动检测 通过这种方式,lendgend()会从artist中获取label属性,并自动生成图例,比如: 或者: 方法2为 阅读全文
posted @ 2019-05-11 22:44 馒头and花卷 阅读(11547) 评论(0) 推荐(0)
摘要: [TOC] "Takahashi T, Kurita T. Robust De noising by Kernel PCA[C]. international conference on artificial neural networks, 2002: 739 744." 引 这篇文章是基于对 " 阅读全文
posted @ 2019-05-10 18:16 馒头and花卷 阅读(222) 评论(0) 推荐(0)
摘要: [TOC] "matplotlib教程" 学习笔记 基本 有俩种Artist:primitives(图形元素)和containers(容器)。primitives是我们需要加入图片的元素,比如线条,矩形,文字等,而容器是放置这些元素的地方,比如Axis,Axes和Figure。标准的用法,应该是先建 阅读全文
posted @ 2019-05-09 17:49 馒头and花卷 阅读(1291) 评论(0) 推荐(0)