星辰大海

摘要： 每个随机变量都有一个分布（分布列、概率密度函数或者分布函数），不同的随机变量可能拥有不同的分布，也可能拥有相同的分布。分布全面地描述了随机变量取值的统计规律性，由分布可以算出随机变量事件的概率，也可以求出随机变量的均值、方差、分位数等特征数。这些特征数从某个侧面描述了分布的特征。 数学期望的概念 数 阅读全文

摘要： 关于贝叶斯概率，参考了茆诗孙版本《概率论与数理统计》中有关贝叶斯的介绍，但是我对其中的介绍的理解比较混乱。李航《统计机器学习》，周志华《机器学习》也看过，没有对贝叶斯概率基本概念及理论有详细介绍，都是其衍生的知识介绍。由于工作中经常表述与基于《模式识别与机器学习》一书的描述接近，故此次先记录这种风格 阅读全文

摘要： 1952年，阿瑟.萨缪尔在IBM公司工作时研发了一款西洋跳棋程序，这个程序具有“学习能力”，它可以通过对大量棋局的分析逐渐辨识出当前局面的“好棋”和“坏棋”，从而不断提升自身的下棋水平，很快程序就赢了萨缪尔。在1956年的达特茅斯会议上，提出了“机器学习”这个名称，并解释为“不针对问题进行明确编程的 阅读全文

摘要： 下面来推导概率论的加和与乘法规则 假设两个随机变量X和Y，随机变量X可以随机取任意的$x_i, i=1,2,..., M$，随机变量Y可以随机取任意的$y_j,j=1,2,...,L$。进行N次试验，对X和Y都进行了取样，把$X=x_i$且$Y=y_i$出现的试验次数记为$n_{ij}$。并且把X取 阅读全文

摘要： 在上学时代和工作期间，经常会遇到概率论中相关概念，这里再重新来认识一下随机变量相关概念。包括随机变量（离散随机变量、连续随机变量）、分布列、概率密度函数、分布函数等。下面都是来自茆诗孙版本《概率论与数理统计》 1. 随机变量的概念 1.1 随机变量的引入 在本书中，“用来表示随机现象结果的变量”称为 阅读全文

摘要： 这里简要总结一下，人脸大规模分类的实现过程 （1）拆分分类权重：分类权重$W\in R^{n\times d}$拆分为K份，每个gpu存储其中一份分类权重 （2）求logit值：每个gpu上的特征feature，及其label，经过allgather操作汇聚并广播到每个GPU上，然后和当前gpu上的 阅读全文

摘要： 腾讯开源人脸识别训练代码TFace 中关于all_gather层的实现如下。接下来解释为什么backward要进行reduce相加操作。 https://github.com/Tencent/TFace class AllGatherFunc(Function): """ AllGather op 阅读全文

摘要： pytorch中 all_gather 操作是不进行梯度回传的。在计算图构建中如果需要经过all_gather操作后，仍需要将梯度回传给各个进程中的allgather前的对应变量，则需要重新继承torch.autograd.Function https://pytorch.org/docs/stab 阅读全文

摘要： 点对点通信 MPI中数据通信类似邮件发送 一个进程发送数据的拷贝到另一个进程/一组进程，其它进程则接收数据拷贝 数据通信要求 发送方：（必须知道的） 1、发送数据谁，给哪个进程 2、发送什么数据，包括数据类型和数据的数量 3、用户定义的tag（类似邮件的主题，告诉接收方接收的是什么类型的数据） 接收 阅读全文

摘要： 下面注释insightface中 大规模人脸分类层实现细节 完整分类代码放到页面末尾 大规模人脸分类的基本思想是，分类层可线性拆分，可将分类层均匀拆分到N块GPU上。分类类别数量增大，仅需增加GPU的数量即可，单卡存放部分的分类层参数量可不变。 （1）下面代码就是实现分类层如何拆分。如果分类类别数量 阅读全文