2018年10月26日

深度神经网络加速和压缩新进展
摘要： 深度神经网络加速和压缩新进展 郑板桥在《赠君谋父子》一诗中曾写道， "删繁就简三秋树，领异标新二月花。" 这句诗讲的是，在画作最易流于枝蔓的兰竹时，要去掉其繁杂使之趋于简明如"三秋之树"；而针对不同的意境要有发散的引申，从而使每幅作品都如"二月之花"般新颖。 其实在人工智能领域，深度神经网络的设计， 阅读全文
posted @ 2018-10-26 21:09 kexinxin 阅读(355) 评论(0) 推荐(0)
A Survey of Model Compression and Acceleration for Deep Neural Network时s
摘要： A Survey of Model Compression and Acceleration for Deep Neural Network时s 本文全面概述了深度神经网络的压缩方法，主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼，论文对每一类方法的性能、相关应用、优势和缺陷等方 阅读全文
posted @ 2018-10-26 21:09 kexinxin 阅读(795) 评论(0) 推荐(0)
CNN 模型压缩与加速算法综述
摘要： CNN 模型压缩与加速算法综述 导语：卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。 前言 自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后，卷积神经网络（CNN）的热 阅读全文
posted @ 2018-10-26 21:08 kexinxin 阅读(2774) 评论(0) 推荐(1)
浅谈流形学习
摘要： 浅谈流形学习 总觉得即使是"浅谈"两个字，还是让这个标题有些过大了，更何况我自己也才刚刚接触这么一个领域。不过懒得想其他标题了，想起来要扯一下这个话题，也是因为和朋友聊起我自己最近在做的方向。Manifold Learning 或者仅仅 Manifold 本身通常就听起来颇有些深奥的感觉，不过如果并 阅读全文
posted @ 2018-10-26 21:05 kexinxin 阅读(263) 评论(0) 推荐(0)
从SNE到t-SNE再到LargeVis
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-10-26 21:04 kexinxin 阅读(5) 评论(0) 推荐(0)
变分例子
摘要： 接着主要讲几个变分推断的例子，试图阐述清楚变分推断到底是如何应用的。首先是二元高斯分布的近似。我们假设二元高斯分布是可分解的，也就是两变量之间独立。二元高斯分布其中可分解形式为：我们想用q(z)去近似p(z)，用前面推导出来的(10.9)： 因为是求z1的分布，所以按(10.9)，我们在z2上求期望 阅读全文
posted @ 2018-10-26 21:03 kexinxin 阅读(982) 评论(0) 推荐(0)
变分
摘要： 变分 概率推断的核心任务就是计算某分布下的的某个函数的期望，或者计算边缘概率分布，条件概率分布等等。EM算法就是计算对数似然函数在隐变量后验分布下的期望。这些任务往往需要积分或求和操作。但在很多情况下，计算这些东西往往不那么容易。首先，积分中涉及的分布可能有很复杂的形式，这样就无法直接得到解析解。其 阅读全文
posted @ 2018-10-26 21:02 kexinxin 阅读(1251) 评论(0) 推荐(0)
基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN,Faster R-CNN
摘要： 基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN,Faster R-CNN object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那 阅读全文
posted @ 2018-10-26 21:00 kexinxin 阅读(301) 评论(0) 推荐(0)
模拟退火
摘要： 模拟退火 爬山算法（Hill Climbing） 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前的解空中选择一个最优解作为当前解，直到达到一个局部最优解。 爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。如下图所示：假设C点为当前解， 阅读全文
posted @ 2018-10-26 20:52 kexinxin 阅读(571) 评论(0) 推荐(0)
粒子群算法
摘要： 粒子群算法 粒子群算法是在1995年由Eberhart博士和Kennedy博士一起提出的，它源于对鸟群捕食行为的研究。它的基本核心是利用群体中的个体对信息的共享从而使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得问题的最优解。设想这么一个场景：一群鸟进行觅食，而远处有一片玉米地， 阅读全文
posted @ 2018-10-26 20:50 kexinxin 阅读(31778) 评论(5) 推荐(1)
蚁群算法
摘要： 同进化算法（进化算法是受生物进化机制启发而产生的一系列算法）和人工神经网络算法（神经网络是从信息处理角度对人脑的神经元网络系统进行了模拟的相关算法）一样，群智能优化算法也属于一种生物启发式方法，它们三者可以称为是人工智能领域的三驾马车（实际上除了上述三种算法还有一些智能算法应用也很广泛，比如模拟金属 阅读全文
posted @ 2018-10-26 20:47 kexinxin 阅读(1385) 评论(0) 推荐(0)
时间序列分析
摘要： 时间序列分析 最早的时间序列分析可以追溯到 7000 年前的古埃及。古埃及人把尼罗河涨落的情况逐天记录下来，从而构成一个时间序列。对这个时间序列长期的观察使他们发现尼罗河的涨落非常有规律，由于掌握了涨落的规律，古埃及的农业迅速发展。这种从观测序列得到直观规律的方法即为描述性分析方法。在时间序列分析方 阅读全文
posted @ 2018-10-26 20:44 kexinxin 阅读(1738) 评论(0) 推荐(0)
循环神经网络与LSTM网络
摘要： 循环神经网络与LSTM网络 循环神经网络RNN 循环神经网络广泛地应用在序列数据上面，如自然语言，语音和其他的序列数据上。序列数据是有很强的次序关系，比如自然语言。通过深度学习关于序列数据的算法要比两年前的算法有了很大的提升。由此诞生了很多有趣的应用，比如语音识别，音乐合成，聊天机器人，机器翻译，自 阅读全文
posted @ 2018-10-26 20:40 kexinxin 阅读(3117) 评论(0) 推荐(0)
多元高斯分布及异常检测
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-10-26 20:37 kexinxin 阅读(11) 评论(0) 推荐(0)
随机森林
摘要： 随机森林 个体与集成 通过聚集多个分类器的预测来提高分类准确率，这些技术称为组合（ensemble）或者分类器组合（classifier combination）方法。组合方法由训练数据构建一组基分类器（base classifier）,然后通过对每个基分类器的预测进行投票来进行分类。 考虑一个简单 阅读全文
posted @ 2018-10-26 20:35 kexinxin 阅读(231) 评论(0) 推荐(0)
神经网络及其实现
摘要： 神经网络及其实现 神经网络的表示 最小的神经网络 两层神经网络 在下图的表示中将参数b放到了中，每一层增加了一个值为1的隐藏单元 X为输入变量 为权重矩阵（所要计算的参数） 为隐藏层变量 g为激活函数 反向传播算法 下面我们从一个简单的例子入手考虑如何从数学上计算代价函数的梯度，考虑如下简单的神经网 阅读全文
posted @ 2018-10-26 20:34 kexinxin 阅读(1140) 评论(0) 推荐(0)
论文《Piexel Recurrent Nerual Network》总结
摘要： 论文《Piexel Recurrent Nerual Network》总结 论文：《Pixel Recurrent Nerual Network》 时间：2016 作者：Aaron van den Oord, Nal Kalchbrenner, Koray Kavukcuoglu 期刊：CCF A类 阅读全文
posted @ 2018-10-26 20:33 kexinxin 阅读(917) 评论(0) 推荐(1)
论文《生成对抗网络》总结
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-10-26 20:32 kexinxin 阅读(44) 评论(0) 推荐(0)
为什么交叉熵可以用于计算代价函数
摘要： 为什么交叉熵可以用于计算代价函数 通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。 要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) - 阅读全文
posted @ 2018-10-26 20:31 kexinxin 阅读(1614) 评论(2) 推荐(0)
神经网络的BP推导过程
摘要： 神经网络的BP推导过程 下面我们从一个简单的例子入手考虑如何从数学上计算代价函数的梯度，考虑如下简单的神经网络，该神经网络有三层神经元，对应的两个权重矩阵,为了计算梯度我们只需要计算两个偏导数即可： 首先计算第二个权重矩阵的偏导数，即 首先需要在之间建立联系，很容易可以看到的值取决于,而,而又是由取 阅读全文
posted @ 2018-10-26 20:30 kexinxin 阅读(774) 评论(0) 推荐(0)
计算机视觉的研究领域
摘要： 计算机视觉的研究领域 图像分类 语义分割 分类和定位 目标检测 实例分割 人脸识别 生成模型 风格迁移 物体跟踪 图像问答 阅读全文
posted @ 2018-10-26 20:29 kexinxin 阅读(316) 评论(0) 推荐(0)
EM算法与混合高斯模型
摘要： EM算法与混合高斯模型 close all; clear; clc; %% Sample Generate N=5000; a_real =[3/10,5/10,2/10]; mu_real = [7,12;12,7;14,15]; cov_real(:,:,1) = [1,0;0,1]; cov_ 阅读全文
posted @ 2018-10-26 20:28 kexinxin 阅读(364) 评论(0) 推荐(0)
分布式梯队下降
摘要： 分布式梯队下降 并行模型 模型并行（model parallelism）： 分布式系统中的不同机器（GPU/CPU等）负责网络模型的不同部分———例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部道德不同参数被分配到不同机器。 数据并行（data parallelism）: 不同的机器 阅读全文
posted @ 2018-10-26 20:27 kexinxin 阅读(781) 评论(0) 推荐(0)
从感知机到神经网络
摘要： 从感知机到神经网络 感知机 感知器在20世纪五、六十年代由科学技术Frank Rosenblatt发明，其受到Warren McCulloch和Walter Pitts早期的工作的影响。今天，使用其他人工神经元模型更为普遍———在这本书中，以及更多现代的神经网络工作中，主要使用的是一种叫做S型神经元 阅读全文
posted @ 2018-10-26 20:26 kexinxin 阅读(545) 评论(0) 推荐(0)
常见的聚类算法
摘要： 常见的聚类算法 1. K-Means(K均值)聚类 算法步骤： (1) 首先我们选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。 (2) 计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中。 (3 阅读全文
posted @ 2018-10-26 20:25 kexinxin 阅读(2382) 评论(0) 推荐(0)
采样
摘要： 随机采样 采样是根据某种分布去生成一些数据点。最基本的假设是认为我们可以获得服从均匀分布的随机数，再根据均匀分布生成复杂分布的采样。对于离散分布的采样，可以把概率分布向量看作一个区间段，然后判断u落在哪个区间段内。对于比较复杂的分布比如正态分布我们可以通过Box-Muller算法，实现对高斯分布的采 阅读全文
posted @ 2018-10-26 20:24 kexinxin 阅读(185) 评论(0) 推荐(0)
变分自动编码器
摘要： 变分自动编码器 自编码器 中间层的编码维度要远远小于输出数据，整个模型训练目标为最小化重建输入数据误差 标准自编码器面临的问题在于 自编玛器将输入数据转为隐空间中的表达式不是连续的，使得解码器对于存在于类别之间的区域无法进行解码，因此提出了变分自编码器 变分自编码器 变分自编码器的隐空间设计为连续的 阅读全文
posted @ 2018-10-26 20:23 kexinxin 阅读(1295) 评论(0) 推荐(0)
半监督学习
摘要： 半监督学习 事实上，未标记样本虽然未直接包含标记信息，但若它们与有标记样本是从同样的数据源独立同分布采样而来，则它们所包含的关于数据分布的信息对建立模型将有很大的益。下图给出了一个直观的例子，若仅基于图中的一个正例和一个反例，则由于待判别样本恰位于两者正中间，大体上只能随机猜测；若能观察到图中的未标 阅读全文
posted @ 2018-10-26 20:21 kexinxin 阅读(1254) 评论(0) 推荐(0)
tensorflow在各种环境下搭建与对比
摘要： tensorflow在各种环境下搭建与对比 由于有些训练是要长时间进行训练（几天），才能看出显著的结果，如果只是通过本地的计算机进行训练是不可能的。因此这周花了一些时间调研如何才能让神经网络长时间的进行运行，为以后训练网络提供可靠的运行环境。 Tensorflow部署的地方 优点 缺点 本地笔记本C 阅读全文
posted @ 2018-10-26 20:20 kexinxin 阅读(299) 评论(0) 推荐(0)
SVM用于线性回归
摘要： SVM用于线性回归 方法分析 在样本数据集（）中，不是简单的离散值，而是连续值。如在线性回归中，预测房价。与线性回归类型，目标函数是正则平方误差函数： 在SVM回归算法中，目的是训练出超平面，采用作为预测值。为了获得稀疏解，即计算超平面参数w,b不依靠所有样本数据，而是部分数据（如在SVM分类算法中 阅读全文
posted @ 2018-10-26 20:19 kexinxin 阅读(5750) 评论(0) 推荐(0)
Multi-Dimensional Recurrent Neural Networks
摘要： Multi-Dimensional Recurrent Neural Networks The basic idea of MDRNNs is to replace the single recurrent connection found in standard RNNs with as many 阅读全文
posted @ 2018-10-26 20:18 kexinxin 阅读(409) 评论(0) 推荐(0)
n-gram
摘要： n-gram 介绍语言模型 什么是语言模型？简单地说，语言模型就是用来计算一个句子的概率的模型，也就是判断一句话是否合理的概率？说说其应用，一直以来，如何让计算机可以理解我们人类的语言，都是人工智能领域的大问题。而机器翻译，问答系统，语音识别，分词，输入法，搜索引擎的自动补全等也都应用到了语言模型。 阅读全文
posted @ 2018-10-26 20:17 kexinxin 阅读(432) 评论(0) 推荐(0)
Learning Deconvolution Network for Semantic Segme小结
摘要： 题目：Learning Deconvolution Network for Semantic Segmentation 作者：Hyeonwoo Noh, Seunghoon Hong, Bohyung Han 年份：2015 会议：ICCV 说面： Segmantic Segmentation(语义 阅读全文
posted @ 2018-10-26 20:16 kexinxin 阅读(516) 评论(1) 推荐(0)
Distributed TensorFlow
摘要： Distributed TensorFlow Client: A client is typically a program that builds a TensorFlow graph and constructs a tensorflow::Session to interact with a 阅读全文
posted @ 2018-10-26 20:14 kexinxin 阅读(498) 评论(0) 推荐(0)
Deep Android Malware Detection小结
摘要： 题目：Deep Android Malware Detection 作者：Niall McLaughlin, Jesus Martinez del Rincon, BooJoong Kang 年份：2017 会议：CODASPY 2.解决的问题 之前的方法需要对程序进行分析然后提取具有识别能力的特征 阅读全文
posted @ 2018-10-26 20:13 kexinxin 阅读(589) 评论(0) 推荐(0)
AutoEncoder and DenoiseAutoEncoder
摘要： AutoEncoder and DenoiseAutoEncoder 第一部分 首先我们将实现一个如上图结构的最简单的AutoEncoder。 加载数据 在这里，我们使用MNIST手写数据集来进行实验。首先我们需要导入数据，TensorFlow已经封装了这个实验数据集，所以我们使用起来也非常简单。 阅读全文
posted @ 2018-10-26 20:12 kexinxin 阅读(262) 评论(0) 推荐(0)
Apriori算法
摘要： hash tree(哈希树)，是由tree和hash table结合，旨在优化hash table冲突解决方案的一种数据结构。 在链式hash table中，若关键字发生冲突，则创建单个新节点链到冲突节点之后，并把关键字插入到新节点。 而在hash tree结构中，若关键字发生冲突，则创建一组新节点 阅读全文
posted @ 2018-10-26 20:09 kexinxin 阅读(518) 评论(0) 推荐(0)
贝叶斯线性回归
摘要： 贝叶斯线性回归（Bayesian Linear Regression） 关于参数估计 在很多机器学习或数据挖掘问题中，我们所面对的只有数据，但数据中潜在的概率密度函数是不知道的，概率密度分布需要我们从数据中估计出来。想要确定数据对应的概率分布，就需要确定两个东西：概率密度函数的形式和概率密度函数的参 阅读全文
posted @ 2018-10-26 20:03 kexinxin 阅读(8002) 评论(4) 推荐(5)

导航