星辰大海

摘要： 下面主要注释了百度开源人脸大规模分类训练PLSC代码细节 (1)下面代码softmax_with_cross_entropy之前部分主要是使用allgather将每个gpu上计算的特征聚合在一起，每块gpu上都存放了相同的全体特征。 def softmax_classify(self, x, lab 阅读全文

摘要： 相关概念与函数 MPI名词：communicator, rank, size MPI函数：MPI_Comm_rank, MPI_Comm_size, MPI_Init, MPI_Finalize 如何理解MPI概念中的 communicator？ 为完成某个并行计算的所涉及的进程合在一起的进程组称之 阅读全文

摘要： 在早期tensorflow框架进行多机多卡分布式训练采用的Parameter Server方式进行梯度的同步，但是这种方式随着GPU卡数的增加，通信效率问题凸显出来。后来百度硅谷提出在《Bring HPC techniques to Deep Learning》中提出Ring-AllReduce 技 阅读全文

摘要： 最开始接触深度学习的框架就是Caffe，用Caffe做过目标检测、图像分类、人脸识别等训练任务。当时写C++代码时一项很头痛的事就是自己去写反向传播代码。后来tensorflow出来后，只需要写前向过程不需要写反向过程，真的是极大的缓解了编程压力，让人们可以投入更多精力去设计网络结构、损失函数、各种 阅读全文

摘要： 设人脸特征向量为$x\in R^$,全连接层分类权重$W\in R^{m\times n}$,此处假设特征向量和分类权重都已经归一化，n维向量的2范数都等于1.则经过全连接层后得到$y=W^x=(w_j^x)$,其中$w_j$是分类类别j对应的连接权重。变换如下： \(w_j^{T}x = |w_j 阅读全文

摘要： 虽然很多人写过关于StyleGan的帖子，为了加深自己的理解，决定再啰嗦一遍。 StyleGan生成器 这部分用来介绍StyleGan生成器网络结构图。示意图如下 （1）传统的Gan生成器，由latent code 作为输入，生成图片。而StyleGan却是由一个常量通过生成网络生成图片的。而在St 阅读全文

摘要： Attention 机制 1. 介绍Attention机制过程中,经常提到t时刻或者i位置,其实这两种表述本质上是一样的,只不过是序列在不同问题上表达方式不同而已. 在机器翻译中,使用术语位置更合适些;而在语音识别中使用术语时刻更合适些. 2. 先清楚几个变量(以机器翻译为例) 2.1 $X$: 待 阅读全文

摘要： DeepSpeech2中主要讲的几点 1. 网络结构 convolution layers rnn layers one fully connected layer 网络结构的输入是音频信号的频谱特征, 输出的是字母表中的一个个字母.(不同语言的字母表不一样). 训练是采用CTC损失函数. 在推理过 阅读全文

摘要：     基于注意机制的编码解码结构例如LAS(Listen,Attention,Spell),将声学模型,发音模型和语言模型统一在一起,使得语音识别做到了端到端训练. 本文在LAS基础上,在建模结构和优化过程这两个方面做出了一些改进,从而显著地提升模型性能.建 阅读全文

摘要： Attention is all you need 3 模型结构     大多数牛掰的序列传导模型都具有encoder decoder结构. 此处的encoder模块将输入的符号序列$(x_1,x_2,...,x_n)$映射为连续的表示序列${\bf z} = 阅读全文