摘要: [TOC] 线性代数 一、基本知识 1. 本文中所有的向量都是列向量的形式: $$\mathbf{\vec x}=(x_1,x_2,\cdots,x_n)^T=\begin{bmatrix}x_1\\x_2\\ \vdots \\x_n\end{bmatrix}$$ 本书中所有的矩 $\mathbf阅读全文
posted @ 2018-11-04 21:40 郭耀华 阅读(307) 评论(0) 编辑
摘要: 在机器学习领域,对于大多数常见问题,通常会有多个模型可供选择。当然,每个模型会有自己的特性,并会受到不同因素的影响而表现不同。 每个模型的好坏是通过评价它在某个数据集上的性能来判断的,这个数据集通常被叫做“验证/测试”数据集。这个性能由不同的统计量来度量,包括准确率( accuracy )、精确率(阅读全文
posted @ 2018-11-03 18:19 郭耀华 阅读(151) 评论(0) 编辑
摘要: [TOC] 线性代数 一、基本知识 1. 本书中所有的向量都是列向量的形式: $$\mathbf{\vec x}=(x_1,x_2,\cdots,x_n)^T=\begin{bmatrix}x_1\\x_2\\ \vdots \\x_n\end{bmatrix}$$ 本书中所有的矩 $\mathbf阅读全文
posted @ 2018-11-03 09:59 郭耀华 阅读(87) 评论(0) 编辑
摘要: 一、运行时数据区域 线程隔离:线程隔离的意思,就是给不同的线程多分配的资源用,以做到不争用。 线程共享:线程共享就是资源只有一个没有办法分配更多,只能共享。 Java虚拟机管理的内存包括几个运行时数据内存:方法区、虚拟机栈、本地方法栈、堆、程序计数器,其中方法区和堆是由线程共享的数据区,其他几个是线阅读全文
posted @ 2018-09-25 11:22 郭耀华 阅读(679) 评论(1) 编辑
摘要: 本文详细解释了 Faster R-CNN 的网络架构和工作流,一步步带领读者理解目标检测的工作原理,作者本人也提供了 Luminoth 实现,供大家参考。 Luminoth 实现:https://github.com/tryolabs/luminoth/tree/master/luminoth/mo阅读全文
posted @ 2018-08-16 17:49 郭耀华 阅读(559) 评论(0) 编辑
摘要: 参考: https://www.tensorflow.org/programmers_guide/variable_scope 举例说明 TensorFlow中的变量一般就是模型的参数。当模型复杂的时候共享变量会无比复杂。 官网给了一个case,当创建两层卷积的过滤器时,每输入一次图片就会创建一次过阅读全文
posted @ 2018-08-14 17:54 郭耀华 阅读(313) 评论(0) 编辑
摘要: 卷积神经网络作为深度学习的典型网络,在图像处理和计算机视觉等多个领域都取得了很好的效果。 Paul-Louis Pröve在Medium上通过这篇文章快速地介绍了不同类型的卷积结构(Convolution)及优势。为了简单起见,本文仅探讨二维卷积结构。 卷积 首先,定义下卷积层的结构参数。 △ 卷积阅读全文
posted @ 2018-08-08 16:23 郭耀华 阅读(467) 评论(0) 编辑
摘要: Hinge Loss 解释 SVM 求解使通过建立二次规划原始问题,引入拉格朗日乘子法,然后转换成对偶的形式去求解,这是一种理论非常充实的解法。这里换一种角度来思考,在机器学习领域,一般的做法是经验风险最小化 ERM ,即构建假设函数为输入输出间的映射,然后采用损失函数来衡量模型的优劣。求得使损失最阅读全文
posted @ 2018-08-07 12:23 郭耀华 阅读(837) 评论(0) 编辑
摘要: 最近一直在研究深度语义匹配算法,搭建了个模型,跑起来效果并不是很理想,在分析原因的过程中,发现注意力模型在解决这个问题上还是很有帮助的,所以花了两天研究了一下。 此文大部分参考深度学习中的注意力机制(2017版) 张俊林的博客,不过添加了一些个人的思考与理解过程。在github上找到一份基于kera阅读全文
posted @ 2018-08-06 21:55 郭耀华 阅读(1165) 评论(2) 编辑
摘要: [TOC] 前言 配置环境,研究了一整天,踩了很多坑,在网上找了很多资料,发现基本上都没非常明确的教程,所以今天想分享一下配置tensorflow GPU版本的经验,希望能让各位朋友少走些弯路。(PS:一切的前提,你需要有一张Nvidia显卡。我的显卡是 GT940MX) Tensorflow有两个阅读全文
posted @ 2018-07-05 11:44 郭耀华 阅读(2608) 评论(0) 编辑
摘要: 2013年,Google开源了一款用于词向量计算的工具——word2vec,引起了工业界和学术界的关注。首先,word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练;其次,该工具得到的训练结果——词向量(word embedding),可以很好地度量词与词之间的相似性。随着深度学习(D阅读全文
posted @ 2018-06-28 19:29 郭耀华 阅读(1415) 评论(0) 编辑
摘要: (1)词集模型(Set Of Words): 单词构成的集合,集合自然每个元素都只有一个,也即词集中的每个单词都只有一个。 (2)词袋模型(Bag Of Words): 如果一个单词在文档中出现不止一次,并统计其出现的次数(频数)。 为文档生成对应的词集模型和词袋模型 考虑如下的文档: list o阅读全文
posted @ 2018-06-27 13:56 郭耀华 阅读(470) 评论(0) 编辑
摘要: 导语 在NLP领域,语义相似度的计算一直是个难题:搜索场景下Query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN DSSM、LSTM DSSM等深度学习模型在计算语义相似度上的应用,希望给读者带来帮助。阅读全文
posted @ 2018-06-26 15:06 郭耀华 阅读(1055) 评论(0) 编辑
摘要: 最近太忙已经好久没有写博客了,今天整理分享一篇关于损失函数的文章吧,以前对损失函数的理解不够深入,没有真正理解每个损失函数的特点以及应用范围,如果文中有任何错误,请各位朋友指教,谢谢~ 损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,阅读全文
posted @ 2018-06-23 14:46 郭耀华 阅读(4370) 评论(0) 编辑
摘要: # -*- coding: utf-8 -*- """ Created on Sat May 19 18:44:40 2018 @author: John Kwok """ # import import numpy as np import tensorflow as tf import GetDataUtil # 数据读取及预处理 ''' 定义超参 ''' BATCH_SIZE = 12...阅读全文
posted @ 2018-06-02 22:50 郭耀华 阅读(129) 评论(0) 编辑
摘要: 本文介绍了tensorflow的常用函数,源自网上整理。 TensorFlow 将图形定义转换成分布式执行的操作, 以充分利用可用的计算资源(如 CPU 或 GPU。一般你不需要显式指定使用 CPU 还是 GPU, TensorFlow 能自动检测。如果检测到 GPU, TensorFlow 会尽可阅读全文
posted @ 2018-05-19 16:30 郭耀华 阅读(384) 评论(0) 编辑
摘要: 程序入口 对于很多编程语言来说,程序都必须要有一个入口,比如 C,C++,以及完全面向对象的编程语言 Java,C# 等。如果你接触过这些语言,对于程序入口这个概念应该很好理解,C 和 C++ 都需要有一个 main 函数来作为程序的入口,也就是程序的运行会从 main 函数开始。同样,Java 和阅读全文
posted @ 2018-05-19 10:08 郭耀华 阅读(834) 评论(1) 编辑
摘要: 目标检测是很多计算机视觉任务的基础,不论我们需要实现图像与文字的交互还是需要识别精细类别,它都提供了可靠的信息。本文对目标检测进行了整体回顾,第一部分从RCNN开始介绍基于候选区域的目标检测器,包括Fast R-CNN、Faster R-CNN 和 FPN等。第二部分则重点讨论了包括YOLO、SSD阅读全文
posted @ 2018-05-05 15:51 郭耀华 阅读(7335) 评论(2) 编辑
摘要: 陆续刷了好久,算是刷完了《剑指offer》,以下全部AC代码,不一定性能最优,如有错误或更好解答,请留言区指出,大家共同交流,谢谢~ 1.二维数组中的查找 在一个二维数组中,每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断阅读全文
posted @ 2018-04-26 22:24 郭耀华 阅读(976) 评论(2) 编辑
摘要: Spatial As Deep: Spatial CNN for Traffic Scene Understanding 收录:AAAI2018 (AAAI Conference on Artificial Intelligence) 原文地址:SCNN 论文提出了一个新颖网络Spatial CNN阅读全文
posted @ 2018-04-25 10:52 郭耀华 阅读(3141) 评论(0) 编辑
摘要: 《Deep Learning》(Ian Goodfellow & Yoshua Bengio & Aaron Courville)第四章「数值计算」中,谈到了上溢出(overflow)和下溢出(underflow)对数值计算的影响,并以softmax函数和log softmax函数为例进行了讲解。这阅读全文
posted @ 2018-04-21 13:08 郭耀华 阅读(366) 评论(0) 编辑
摘要: 引言: 机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达形式。 y是数据点映射后的低维向量表达,通常y的维度小于x的维度(当然提高维度也是可以的)。f可能是显式的阅读全文
posted @ 2018-04-16 15:18 郭耀华 阅读(4364) 评论(0) 编辑
摘要: 在机器学习、深度学习中使用的优化算法除了常见的梯度下降,还有 Adadelta,Adagrad,RMSProp 等几种优化器,都是什么呢,又该怎么选择呢? 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较,今天来学习一下:https://arxiv.org/pdf/1609.0阅读全文
posted @ 2018-04-10 16:59 郭耀华 阅读(693) 评论(0) 编辑
摘要: 论文参考:Deep Sparse Rectifier Neural Networks (很有趣的一篇paper) 论文参考:Deep Sparse Rectifier Neural Networks (很有趣的一篇paper) Part 0:传统激活函数、脑神经元激活频率研究、稀疏激活性 0.1 一阅读全文
posted @ 2018-04-06 13:17 郭耀华 阅读(698) 评论(0) 编辑
摘要: 这几天面试经常被问到BN层的原理,虽然回答上来了,但还是感觉答得不是很好,今天仔细研究了一下Batch Normalization的原理,以下为参考网上几篇文章总结得出。 Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其阅读全文
posted @ 2018-04-05 21:50 郭耀华 阅读(28841) 评论(10) 编辑
摘要: 这道题,第一感觉想用排列组合做,但是想了好久,没想到解决办法(刚刚考试的时候没有答出来)。后来想了一下应该使用动态规划来做。 我们首先分析一下情况: 1.当K>N的时候,countSum = 0; 2.当K=N的时候,countSum = N!(N的阶乘) 3.当K>N的时候,就要通过最优子结构来进阅读全文
posted @ 2018-04-03 23:48 郭耀华 阅读(697) 评论(0) 编辑
摘要: maxpooling主要有两大作用 1. invariance(不变性),这种不变性包括translation(平移),rotation(旋转),scale(尺度)2. 保留主要的特征同时减少参数(降维,效果类似PCA)和计算量,防止过拟合,提高模型泛化能力 (1) translation inva阅读全文
posted @ 2018-03-30 08:04 郭耀华 阅读(746) 评论(0) 编辑
摘要: 小Q得到一个神奇的数列: 1, 12, 123,...12345678910,1234567891011...。 并且小Q对于能否被3整除这个性质很感兴趣。 小Q现在希望你能帮他计算一下从数列的第l个到第r个(包含端点)有多少个数可以被3整除。阅读全文
posted @ 2018-03-28 23:45 郭耀华 阅读(362) 评论(0) 编辑
摘要: 为了找到自己满意的工作,牛牛收集了每种工作的难度和报酬。牛牛选工作的标准是在难度不超过自身能力值的情况下,牛牛选择报酬最高的工作。在牛牛选定了自己的工作后,牛牛的小伙伴们来找牛牛帮忙选工作,牛牛依然使用自己的标准来帮助小伙伴们。牛牛的小伙伴太多了,于是他只好把这个任务交给了你。阅读全文
posted @ 2018-03-28 23:19 郭耀华 阅读(753) 评论(0) 编辑
摘要: 58.对称的二叉树 请实现一个函数,用来判断一颗二叉树是不是对称的。注意,如果一个二叉树同此二叉树的镜像是同样的,定义其为对称的。 59.==之字形打印二叉树== 请实现一个函数按照之字形打印二叉树,即第一行按照从左到右的顺序打印,第二层按照从右至左的顺序打印,第三行按照从左到右的顺序打印,其他行以阅读全文
posted @ 2018-03-22 17:28 郭耀华 阅读(178) 评论(0) 编辑
摘要: 昨天面试被问到这道算法题,一时没有回答上来,今天思考了一下,参阅了网上的教程,做了一个JAVA版本的实现。 方案一: 新建一个N*L的数组,将原始数组拼接存放在这个大数组中,再调用Arrays.sort()进行排序,或者使用其它排序方法即可。 此方法时间复杂度为o(N*Llog2N*L); 具体代码阅读全文
posted @ 2018-03-21 19:00 郭耀华 阅读(643) 评论(0) 编辑
摘要: 昨天面试被问到如何推导BP(反向传输)算法,顿时蒙住了,大体是知道反向传输算法的过程的,但是用语言描述出来,确实有些困难。回来后看了些博文,发现有的博文中公式推导过于复杂,不易理解,遂综合了网络中其他博文和斯坦福大学CS231n课程中的内容,整理了一份反向传输算法的通俗解释,如有错误,请各位网友指出阅读全文
posted @ 2018-03-21 15:03 郭耀华 阅读(1000) 评论(0) 编辑
该文被密码保护。
posted @ 2018-03-20 16:47 郭耀华 阅读(34) 评论(0) 编辑
摘要: 最近几天在研究排序算法,看了很多博客,发现网上有的文章中对排序算法解释的并不是很透彻,而且有很多代码都是错误的,例如有的文章中在“桶排序”算法中对每个桶进行排序直接使用了Collection.sort()函数,这样虽然能达到效果,但对于算法研究来讲是不可以的。所以我根据这几天看的文章,整理了一个较为阅读全文
posted @ 2018-03-19 10:14 郭耀华 阅读(8887) 评论(18) 编辑
摘要: 术语 1. 节点的度:一个节点含有的子树的个数称为该节点的度; 2. 叶节点或终端节点:度为零的节点; 3. 非终端节点或分支节点:度不为零的节点; 4. 父亲节点或父节点:若一个节点含有子节点,则这个节点称为其子节点的父节点; 5. 兄弟节点:具有相同父节点的节点互称为兄弟节点; 6. 节点的层次阅读全文
posted @ 2018-03-18 13:59 郭耀华 阅读(713) 评论(0) 编辑
摘要: 一、选用卷积的原因 局部感知 局部感知 简单来说,卷积核的大小一般小于输入图像的大小(如果等于则是全连接),因此卷积提取出的特征会更多地关注局部 —— 这很符合日常我们接触到的图像处理。而每个神经元其实没有必要对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部的信息综合起来就得到了全局的信阅读全文
posted @ 2018-03-17 14:56 郭耀华 阅读(990) 评论(0) 编辑
摘要: 最近在学习算法和数据结构,用到Java里的Stack类,但程序运行结果一直和我预料的不一样,网上也没查清楚,最后查了API,才搞明白。 1. java.util.Stack继承类 java.util.Vector 2. empty()方法是Stack自己实现的方法 3. isEmpty() 是从Ve阅读全文
posted @ 2018-03-17 11:29 郭耀华 阅读(133) 评论(0) 编辑
摘要: 46.扑克牌顺子 LL今天心情特别好,因为他去买了一副扑克牌,发现里面居然有2个大王,2个小王(一副牌原本是54张^_^)...他随机从中抽出了5张牌,想测测自己的手气,看看能不能抽到顺子,如果抽到的话,他决定去买体育彩票,嘿嘿!!“红心A,黑桃3,小王,大王,方片5”,“Oh My God!”不是阅读全文
posted @ 2018-03-15 23:10 郭耀华 阅读(138) 评论(0) 编辑
摘要: Arrays 类 java.util.Arrays类能方便地操作数组,它提供的所有方法都是静态的。具有以下功能: 给数组赋值:通过fill方法。 对数组排序:通过sort方法,按升序。 比较数组:通过equals方法比较数组中元素值是否相等。 查找数组元素:通过binarySearch方法能对排序好阅读全文
posted @ 2018-03-12 16:04 郭耀华 阅读(126) 评论(0) 编辑
摘要: 指数加权平均 在深度学习优化算法中,例如Momentum、RMSprop、Adam,都提到了一个概念,指数加权平均,看了Andrew Ng的深度学习课程后,总结一下什么是指数加权平均。 式中v_t可近似代表1/(1-β)个θ的平均值。 偏差修正 由以上证明可以看出,每个最新数据值,依赖于以前的数据结阅读全文
posted @ 2018-03-11 17:19 郭耀华 阅读(886) 评论(0) 编辑