papering - 博客园

2017年9月19日

The hidden layers are either convolutional, pooling or fully connected.

摘要： https://en.wikipedia.org/wiki/Convolutional_neural_network Convolutional layers apply a convolution operation to the input, passing the result to the 阅读全文

posted @ 2017-09-19 14:15 papering 阅读(268) 评论(0) 推荐(0)

images have the “stationarity” property, which implies that features that are useful in one region are also likely to be useful for other regions.

摘要： Convolutional networks may include local or global pooling layers[clarification needed], which combine the outputs of neuron clusters at one layer int 阅读全文

posted @ 2017-09-19 11:19 papering 阅读(236) 评论(0) 推荐(0)

2017年9月18日

算法报告

摘要：【要解决到的问题】“对于给定的mac-rssi列表，求出特征值。” 阅读全文

posted @ 2017-09-18 21:55 papering 阅读(426) 评论(0) 推荐(0)

word2vec_basic.py

摘要： https://raw.githubusercontent.com/tensorflow/tensorflow/r1.3/tensorflow/examples/tutorials/word2vec/word2vec_basic.py 阅读全文

posted @ 2017-09-18 20:08 papering 阅读(351) 评论(0) 推荐(0)

Softmax_function

摘要： en.wikipedia.org/wiki/Softmax_function 阅读全文

posted @ 2017-09-18 12:04 papering 阅读(167) 评论(0) 推荐(0)

DNN 数据的表示

摘要：阅读全文

posted @ 2017-09-18 04:31 papering 阅读(205) 评论(0) 推荐(0)

Convex combination

摘要： en.wikipedia.org/wiki/Convex_combination 凸组合 In convex geometry, a convex combination is a linear combination of points (which can be vectors, scalars 阅读全文

posted @ 2017-09-18 04:04 papering 阅读(834) 评论(0) 推荐(0)

好为什么好转变思维

摘要：阅读全文

posted @ 2017-09-18 03:41 papering 阅读(174) 评论(0) 推荐(0)

函数的光滑化或正则化卷积应用两个统计独立变量X与Y的和的概率密度函数是X与Y的概率密度函数的卷积

摘要： http://graphics.stanford.edu/courses/cs178/applets/convolution.html Convolution is an operation on two functions f and g, which produces a third funct 阅读全文

posted @ 2017-09-18 02:59 papering 阅读(1196) 评论(0) 推荐(0)

world embedding 嵌入

摘要： http://papers.nips.cc/paper/5477-neural-word-embedding-as-implicit-matrix-factorization 嵌入 | TensorFlow https://tensorflow.google.cn/programmers_guide 阅读全文

posted @ 2017-09-18 02:01 papering 阅读(292) 评论(0) 推荐(0)

受限于冷启动

摘要： cold start 0-用户 1-物品 2-系统阅读全文

posted @ 2017-09-18 01:30 papering 阅读(153) 评论(0) 推荐(0)

DNN优势

摘要：阅读全文

posted @ 2017-09-18 01:18 papering 阅读(768) 评论(0) 推荐(0)

DNN自适应

摘要：阅读全文

posted @ 2017-09-18 00:44 papering 阅读(282) 评论(0) 推荐(0)

低秩近似 low-rank approximation

摘要：阅读全文

posted @ 2017-09-18 00:35 papering 阅读(1446) 评论(0) 推荐(0)

2017年9月17日

Random Fourier Features

摘要： K-DSN 深度堆叠网络 Random Features for Large-Scale Kernel Machines To accelerate the training of kernel machines, we propose to map the input data to a rand 阅读全文

posted @ 2017-09-17 23:08 papering 阅读(641) 评论(0) 推荐(0)

Convex optimization 凸优化

摘要： zh.wikipedia.org/wiki/凸優化以下问题都是凸优化问题，或可以通过改变变量而转化为凸优化问题：[5] 最小二乘线性规划线性约束的二次规划半正定规划 Convex function Convex minimization is a subfield of optimizati 阅读全文

posted @ 2017-09-17 22:31 papering 阅读(299) 评论(0) 推荐(0)

希尔伯特空间

摘要： zh.wikipedia.org/wiki/希尔伯特空间在数学里，希尔伯特空间即完备的内积空间，也就是说一个带有内积的完备向量空间。是有限维欧几里得空间的一个推广，使之不局限于实数的情形和有限的维数，但又不失完备性（而不像一般的非欧几里得空间那样破坏了完备性）。与欧几里得空间相仿，希尔伯特空间也是阅读全文

posted @ 2017-09-17 21:39 papering 阅读(956) 评论(0) 推荐(0)

正交是垂直在数学上的一种抽象化和一般化两个不同向量正交是指它们的内积为0，这也就意味着这两个向量之间没有任何相关性

摘要： zh.wikipedia.org/wiki/傅里叶级数所谓的两个不同向量正交是指它们的内积为0，这也就意味着这两个向量之间没有任何相关性,例如，在三维欧氏空间中，互相垂直的向量之间是正交的。事实上，正交是垂直在数学上的一种抽象化和一般化。一组n个互相正交的向量必然是线性无关的，所以必然可以张成一个阅读全文

posted @ 2017-09-17 21:37 papering 阅读(3051) 评论(0) 推荐(0)

任何函数都可以展开为三角级数

摘要： zh.wikipedia.org/wiki/傅里叶级数 In mathematics, a Fourier series (English: /ˈfʊəriˌeɪ/)[1] is a way to represent a function as the sum of simple sine wave 阅读全文

posted @ 2017-09-17 21:28 papering 阅读(2330) 评论(0) 推荐(0)

2017年9月16日

singular value decomposition

摘要： http://web.stanford.edu/class/cs246/slides/dim-red.pdf http://web.mit.edu/be.400/www/SVD/Singular_Value_Decomposition.htmhttp://mathworld.wolfram.com/ 阅读全文

posted @ 2017-09-16 20:02 papering 阅读(451) 评论(0) 推荐(0)

协方差矩阵在图像处理之特征脸处理中的应用

摘要：【协方差矩阵在图像处理之特征脸处理中的应用】【说】注意关键点在于“数据量的巨大，计算量的巨大”。【说】特征值起到了数据压缩、显示特征的作用。一个标准化的面部图形的一个大型数据集合的协方差矩阵的特征向量称为特征脸。 https://zh.wikipedia.org/wiki/特征值和特征向量在图阅读全文

posted @ 2017-09-16 18:51 papering 阅读(1423) 评论(0) 推荐(0)

怎么判断矩阵中的方阵可以对角化

摘要： zh.wikipedia.org/wiki/特征值和特征向量计算矩阵的特征值和特征向量假设我们想要计算给定矩阵的特征值。若矩阵很小，我们可以用特征多项式进行符号演算。但是，对于大型矩阵这通常是不可行的，在那种情况我们必须采用数值方法。阅读全文

posted @ 2017-09-16 18:13 papering 阅读(1589) 评论(0) 推荐(0)

how to add them, how to multiply them

摘要： http://www.physics.miami.edu/~nearing/mathmethods/operators.pdf 阅读全文

posted @ 2017-09-16 18:05 papering 阅读(201) 评论(0) 推荐(0)

Ax=λx=λIx

摘要：阅读全文

posted @ 2017-09-16 16:55 papering 阅读(253) 评论(0) 推荐(0)

一切的算法

摘要：一切的算法，落到了“0101”的相似度比较。将INPUT作“字符串”、“实数、虚数”、“矩阵”、“向量”、“张量”？我们已有一个--来源，如：历史数据、先验生成--参照物、事实标准、参考系--INPUT代表着未知，需要我们给出结果，矩阵：协方差矩阵-->特征值图像识别指纹识别阅读全文

posted @ 2017-09-16 16:12 papering 阅读(164) 评论(0) 推荐(0)

方差协方差

摘要：【方差协方差】方差 variance协方差 covariancehttps://en.wikipedia.org/wiki/Variance方差一个随机变量的方差描述的是它的离散程度，一个实随机变量的方差，也成为它的二阶矩或二阶中心动差。Informally, it measures how f 阅读全文

posted @ 2017-09-16 15:31 papering 阅读(666) 评论(0) 推荐(0)

对偶空间

摘要：【对偶空间】dual vector space对偶空间是线性函数的集合。Dual vector space consists of linnear functions. In mathematics, any vector space V has a corresponding dual vecto 阅读全文

posted @ 2017-09-16 14:55 papering 阅读(396) 评论(0) 推荐(0)

相对论质量

摘要： https://zh.wikipedia.org/wiki/狭义相对论牛顿力学是狭义相对论在低速情况下的近似。 https://en.wikipedia.org/wiki/Special_relativity In physics, special relativity (SR, also kno 阅读全文

posted @ 2017-09-16 14:33 papering 阅读(353) 评论(0) 推荐(0)

内积外积

摘要：【内积外积】inner productouter product运算结果：内积->标量外积->矢量物理应用举例：内积->力做的功外积->洛伦兹力（运动于电磁场的带电粒子所感受到的作用力：右手的大拇指与v同向，食指与B同向，则中指会指向F的方向。） ->角动量（位置动量和动量的外积；守恒，当阅读全文

posted @ 2017-09-16 14:24 papering 阅读(522) 评论(0) 推荐(0)

张量

摘要：【张量】tensor张量是线性关系。A tensor is a linear relation. “张量”一词最初由威廉·罗恩·哈密顿在1846年引入，但他把这个词用于指代现在称为模的对象。该词的现代意义是沃尔德马尔·福格特在1899年开始使用的。这个概念由格雷戈里奥·里奇-库尔巴斯托罗在1890 阅读全文

posted @ 2017-09-16 14:23 papering 阅读(471) 评论(0) 推荐(0)

共轭

摘要：【共轭】conjugate 共轭（conjugate）可以指：数学上的共轭：共轭复数：实数部分相同而虚数部分互为相反数的两个复数。矩阵的共轭转置：把矩阵转置后，再把每一个数换成它的共轭复数。自共轭矩阵：矩阵中每一个第i行第j列的元素都与第j行第i列的元素的共轭相等。代数上的共轭与共轭复数类阅读全文

posted @ 2017-09-16 14:20 papering 阅读(3420) 评论(0) 推荐(0)

2017年9月15日

求证：矩阵的范数可以通过求解矩阵的最大奇异值实现。

摘要：阅读全文

posted @ 2017-09-15 21:35 papering 阅读(655) 评论(0) 推荐(0)

A norm is a function. 范数是函数。

摘要：【范数】范数是函数。A norm is a function.范数(norm)，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，是一个函数，其为向量空间内的所有向量赋予非零的正长度或大小。半范数反而可以为非零的向量赋予零长度。 In linear algebra, functiona 阅读全文

posted @ 2017-09-15 21:14 papering 阅读(748) 评论(0) 推荐(0)

矩阵常用范数之最大奇异值范数---有压缩性地看问题

摘要：【向量组的秩】向量组的极大线性无关组所含向量的个数【矩阵的秩】【对角矩阵】主对角线以外的元素全为0的方阵【基本矩阵单位矩阵数量矩阵】【基本矩阵】只有一个元素是1，其余元素全为0 【单位矩阵】主对角线上个的元素都为1 【数量矩阵】主对角线上的元素是同一个数k，其余元素都是0 【对阅读全文

posted @ 2017-09-15 20:48 papering 阅读(3128) 评论(0) 推荐(0)

测度

摘要：实变函数阅读全文

posted @ 2017-09-15 18:52 papering 阅读(157) 评论(0) 推荐(0)

On the importance of initialization and momentum in deep learning

摘要： Ilya Sutskever1 ilyasu@google.com James Martens jmartens@cs.toronto.edu George Dahl gdahl@cs.toronto.edu Geoffrey Hinton hinton@cs.toronto.edu 阅读全文

posted @ 2017-09-15 18:03 papering 阅读(502) 评论(0) 推荐(0)

This instability is a fundamental problem for gradient-based learning in deep neural networks. vanishing exploding gradient problem

摘要： The unstable gradient problem: The fundamental problem here isn't so much the vanishing gradient problem or the exploding gradient problem. It's that 阅读全文

posted @ 2017-09-15 17:36 papering 阅读(342) 评论(0) 推荐(0)

中断

摘要：计算机组成原理 http://media4.open.com.cn/L603/fushi/0903/jisuanjzcyl/web/lesson/char5/j5.htm 第五节　程序中断方式一、中断的概念计算机在执行程序的过程中，当出现异常情况或特殊请求时，计算机停止现行程序的运行，转向对这些阅读全文

posted @ 2017-09-15 17:00 papering 阅读(734) 评论(0) 推荐(0)

A visual proof that neural nets can compute any function

摘要： http://neuralnetworksanddeeplearning.com/chap4.html In essence, we're using our single-layer neural networks to build a lookup table for the function. 阅读全文

posted @ 2017-09-15 14:15 papering 阅读(227) 评论(0) 推荐(0)

望文生义 “借助ANN优化目标函数”

摘要：打牢基础阅读全文

posted @ 2017-09-15 13:41 papering 阅读(182) 评论(0) 推荐(0)