随笔分类 - 数学
摘要：一、概述Ο，读音：big-oh；表示上界，小于等于。 Ω，读音：big omega、欧米伽；表示下界，大于等于。 Θ，读音：theta、西塔；既是上界也是下界，称为确界，等于。 ο，读音：small-oh；表示上界，小于。 ω，读音：small omega；表示下界，大于。 Ο是渐进上界，Ω是渐进下
阅读全文
摘要：Well-posed problem ＆ Ill-posed problem. 适定问题（Well-posed problem）是指满足下列三个要求的问题: a solution exists：解必须存在；the solution is unique：解必须唯一；the solution’s beh
阅读全文
摘要：The Ackermann function is a recursive function that takes two non-negative integers as inputs and returns a non-negative integer as output. The functi
阅读全文
摘要：解释1： 在深度学习中，Fisher信息矩阵（FIM）是一种可以用来表征损失函数的变化，进行二阶优化，和构建几何学习理论的工具。FIM衡量了模型输出对模型参数变化的敏感度。然而，精确的FIM要么不存在闭式解，要么计算代价太高，所以通常根据经验样本来估计。 改善Fisher的条件数意味着降低FIM估计
阅读全文
摘要：解析解(Analytical solution) 就是根据严格的公式推导，给出任意的自变量就可以求出其因变量，也就是问题的解，然后可以利用这些公式计算相应的问题。所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。用来求得解析解的方法称为解析法(Analytical t
阅读全文
摘要：https://github.com/wandergis/coordtransform coordtransform 坐标转换 一个提供了百度坐标（BD09）、国测局坐标（火星坐标，GCJ02）、和WGS84坐标系之间的转换的工具模块。 python版本：https://github.com/wan
阅读全文
摘要：作者：@houkai本文为作者原创，转载请注明出处：https://www.cnblogs.com/houkai/p/3399646.html TEX 是Donald E. Knuth 编写的一个以排版文章及数学公式为目标的计算机程序。TEX的版本号不断趋近于π，现在为3.141592。由Pasca
阅读全文
摘要：在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能
阅读全文
摘要：Q1-1：一段1米长的绳子 随机切两刀 分成三段 求能够组合成一个三角形的概率 不妨设x为两个切点坐标中的较小值，y为较大值，x≠y 可能情况的全体为： 可能情况全体构成的区域为： 三角形三边关系： 三条边的长度分别为：x, y-x, 1-y 则：x+y-x>1-y y-x+1-y>x 1-y+x>
阅读全文
摘要：上式分为两个步骤： 第一步：调整discriminative model D的权重，使得V中两项取得最大值 第二步：调整generative model G的权重，使得V中第二项取得最小值 首先，分析log D(x)的含义： D(x)表示discriminative model D对一个原始样本的评
阅读全文
摘要：雅格布森通信模型： 通信六要素 发送者（信息源） 信道 接收者 信息 上下文 编码 HMM：隐马尔可夫模型 s是可见的 - 信源 o是不可见的（输出） - 信宿 通信就是要根据观测到的o恢复出s 对于翻译问题，汉译英：英语是s，汉语是o，根据s推断o TF-IDF TF：词频 IDF：逆文本频率指数
阅读全文
摘要：# 下面给出python的实现，使用murmurhash算法 import mmh3 from bitarray import bitarray # zhihu_crawler.bloom_filter # Implement a simple bloom filter with murmurhas
阅读全文
摘要：1.熵与最大熵原理 熵是随机变量不确定性的度量，不确定性越大，熵值就越大；若随机变量退化成定值，熵为0。均匀分布是“最不确定”的分布 假设离散随机变量X的概率分布为P(x)，则其熵为： 联合熵和条件熵 两个随机变量的X，Y的联合分布，可以形成联合熵，用H(X,Y)表示 条件熵H(X|Y) = H(X
阅读全文
摘要：指数族分布是一大类分布，基本形式为： 分布函数框架中的h(x),η(θ),T(x)和A(θ)并不是任意定义的，每一部分都有其特殊的意义。 θ是自然参数(natural parameter)，通常是一个实数； h(x)是底层观测值（underlying measure）； T(x)是充分统计量（suf
阅读全文
摘要：在统计学中，矩又被称为动差(Moment)。矩量母函数(Moment Generating Function,简称mgf)又被称为动差生成函数。 称exp(tξ)的数学期望为随机变量ξ的矩量母函数，记作mξ(t)=E(exp(tξ)). [1] 连续型随机变量ξ的MGF为：mξ(t)=∫exp(tx
阅读全文
摘要：测度概述 数学上，测度(Measure)是一个函数，它对一个给定集合的某些子集指定一个数，这个数可以比作大小、体积、概率等等。传统的积分是在区间上进行的，后来人们希望把积分推广到任意的集合上，就发展出测度的概念，它在数学分析和概率论有重要的地位。 测度论是实分析的一个分支，研究对象有σ代数、测度、可
阅读全文
摘要：一. QQ图 分位数图示法（Quantile Quantile Plot，简称 Q-Q 图） 统计学里Q-Q图（Q代表分位数）是一个概率图，用图形的方式比较两个概率分布，把他们的两个分位数放在一起比较。首先选好分位数间隔。图上的点（x,y）反映出其中一个第二个分布（y坐标）的分位数和与之对应的第一分
阅读全文
摘要：混沌理论（Chaos theory）是关于非线性系统在一定参数条件下展现分岔（bifurcation）、周期运动与非周期运动相互纠缠，以至于通向某种非周期有序运动的理论。在耗散系统和保守系统中，混沌运动有不同表现，前者有吸引子，后者无（也称含混吸引子）。 从20世纪80年代中期到20世纪末，混沌理论
阅读全文
摘要：信息论与信息熵是 AI 或机器学习中非常重要的概念，我们经常需要使用它的关键思想来描述概率分布或者量化概率分布之间的相似性。在本文中，我们从最基本的自信息和信息熵到交叉熵讨论了信息论的基础，再由最大似然估计推导出 KL 散度而加强我们对量化分布间相似性的理解。最后我们简要讨论了信息熵在机器学习中的应
阅读全文
摘要：一直对齐次坐标这个概念的理解不够彻底，只见大部分的书中说道“齐次坐标在仿射变换中非常的方便”，然后就没有了后文，今天在一个叫做“三百年 重生”的博客上看到一篇关于透视投影变换的探讨的文章，其中有对齐次坐标有非常精辟的说明，特别是针对这样一句话进行了有力的证明：“齐次坐标表示是计算机图形学的重要手段之
阅读全文