随笔分类 - 机器学习
摘要：前言 对于使用机器学习解决的大多数常见问题，通常有多种可用的模型。每个模型都有自己的独特之处，并随因素变化而表现不同每个模型在“验证/测试”数据集上来评估性能，性能衡量使用各种统计量如准确度（accuracy），精度（precision），召回率（recall）等。选择的统计量通常针对特定应用场景和
阅读全文
摘要：在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.0
阅读全文
摘要：在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能
阅读全文
摘要：原文链接：https://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html 在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什
阅读全文
摘要：29 November 2019 14:48 GRU is a popular variant of LSTM which replaces the forget gate and the input gate with only one update gate GRU achieves the s
阅读全文
摘要：2019年10月26日 星期六 mmdatasdk: module for downloading and procesing multimodal datasets using computational sequences. mmmodelsdk: tools to utilize comple
阅读全文
摘要：Q1-1：一段1米长的绳子 随机切两刀 分成三段 求能够组合成一个三角形的概率 不妨设x为两个切点坐标中的较小值，y为较大值，x≠y 可能情况的全体为： 可能情况全体构成的区域为： 三角形三边关系： 三条边的长度分别为：x, y-x, 1-y 则：x+y-x>1-y y-x+1-y>x 1-y+x>
阅读全文
摘要：又叫做灰度共现矩阵 又叫做灰度共现矩阵 又叫做灰度共现矩阵 又叫做灰度共现矩阵 Prerequisites 概念 计算方式 对于精度要求高且纹理细密的纹理分布，我们取像素间距为d=1d=1，以下是方向的说明： 我们来看，matlab内置工具箱中的灰度共生矩阵的生成函数graycomatrix（gra
阅读全文
摘要：【图像算法】图像特征： 一 原理 几何矩是由Hu(Visual pattern recognition by moment invariants)在1962年提出的，具有平移、旋转和尺度不变性。 定义如下： ① (p+q)阶不变矩定义： ② 对于数字图像，离散化，定义为： ③ 归一化中心矩定义： ④
阅读全文
摘要：上式分为两个步骤： 第一步：调整discriminative model D的权重，使得V中两项取得最大值 第二步：调整generative model G的权重，使得V中第二项取得最小值 首先，分析log D(x)的含义： D(x)表示discriminative model D对一个原始样本的评
阅读全文
摘要：雅格布森通信模型： 通信六要素 发送者（信息源） 信道 接收者 信息 上下文 编码 HMM：隐马尔可夫模型 s是可见的 - 信源 o是不可见的（输出） - 信宿 通信就是要根据观测到的o恢复出s 对于翻译问题，汉译英：英语是s，汉语是o，根据s推断o TF-IDF TF：词频 IDF：逆文本频率指数
阅读全文
摘要：1.熵与最大熵原理 熵是随机变量不确定性的度量，不确定性越大，熵值就越大；若随机变量退化成定值，熵为0。均匀分布是“最不确定”的分布 假设离散随机变量X的概率分布为P(x)，则其熵为： 联合熵和条件熵 两个随机变量的X，Y的联合分布，可以形成联合熵，用H(X,Y)表示 条件熵H(X|Y) = H(X
阅读全文
摘要：指数族分布是一大类分布，基本形式为： 分布函数框架中的h(x),η(θ),T(x)和A(θ)并不是任意定义的，每一部分都有其特殊的意义。 θ是自然参数(natural parameter)，通常是一个实数； h(x)是底层观测值（underlying measure）； T(x)是充分统计量（suf
阅读全文
摘要：We often come across 'ablation study' in machine learning papers, for example, in this paper with the original R-CNN, it has a section of ablation stu
阅读全文
摘要：0.下载display driver、cuda和cudnn RTX2080 Display Driver cuda cudnn 1. 禁止系统默认的显卡驱动 打开系统黑名单 sudo gedit /etc/modprobe.d/blacklist.conf将下列代码填入文件末尾 # for nvid
阅读全文
摘要：1.OpenFace 是 卡耐基梅陇（CMU）大学的一个图像+机器学习项目，整体程序包含：人脸发现，特征提取，特征神经网络训练，人脸识别这四部分。 github https://github.com/cmusatyalab/openface/ API文档 http://openface-api.re
阅读全文
摘要：信息论与信息熵是 AI 或机器学习中非常重要的概念，我们经常需要使用它的关键思想来描述概率分布或者量化概率分布之间的相似性。在本文中，我们从最基本的自信息和信息熵到交叉熵讨论了信息论的基础，再由最大似然估计推导出 KL 散度而加强我们对量化分布间相似性的理解。最后我们简要讨论了信息熵在机器学习中的应
阅读全文
摘要：查全率查准率是从信息检索来的，那么我们就得先看看原来的是怎么定义的： 查全率查准率是从信息检索来的，那么我们就得先看看原来的是怎么定义的： 查全率查准率是从信息检索来的，那么我们就得先看看原来的是怎么定义的： 查全率查准率是从信息检索来的，那么我们就得先看看原来的是怎么定义的： 查全率——它是指检出
阅读全文
摘要：1 对Blob的理解及其操作： Blob是一个四维的数组。维度从高到低分别是: (num_，channels_，height_，width_) 对于图像数据来说就是：图片个数，彩色通道个数，宽，高 Blob中数据是row-major存储的，W是变化最快的维度，例如在(n, k, h, w)处的数据，
阅读全文
摘要：1. 对比损失函数（Contrastive Loss function） 孪生架构的目的不是对输入图像进行分类，而是区分它们。因此，分类损失函数（如交叉熵）不是最合适的选择，这种架构更适合使用对比函数。对比损失函数如下： （以判断图片相似度为例）其中Dw被定义为姐妹孪生网络的输出之间的欧氏距离。Y值
阅读全文
浙公网安备 33010602011771号