随笔分类 -  R-Probalitiy & Statistics 概率统计

摘要：以下资料来自Dahua的博客，非常可惜后来该博客关闭了。 前一段时间，随着研究课题的深入，逐步研习现代概率理论，这是一个令人耳目一新的世界。这个世界实在太博大，我自己也在不断学习之中。这篇就算起一个头吧，后面有空的时候还会陆续写一些文章和大家分享我在学习过程中的思考。 概率论要解决的问题 概率论是很古老的数学分支了——探讨的是不确定的问题，就是说，一件事情可能发生，也可能不发生。然后，... 阅读全文

摘要：很多时候，我们不清楚统计量的分布，或不确定对它所作的假设是否合理。蒙特卡罗模拟可以处理这些情况，它的应用包括：1）当待检测统计量（the test statistics）从未知时，进行推断2）当参数假设（parametric assumptions），评估推断方法的性能3）在各种情况下进行假设检验4）比较不同检测子（estimator）的质量1.基本蒙特卡罗过程用于推断统计的蒙特卡罗模拟的根本思想是：统计量的特征可通过从相同总体中重复抽样，并观察统计量在这些样本上的表现来获得。第一步是决定一个伪总体（pseudo-population)，假设它可以表达真实总体。这里“伪”是为了强调样本是利用计 阅读全文

摘要：推断统计（inferential statistics）用于形成关于总体（population）的结论，并且利用随机样本对这些结论的可信度进行评价，相关技术包括：利用点估计来估计总体参数，估计参数的置信区间，假设建议和建模（回归、密度估计等)。要估计推断的可信度，必须要了解分析过程涉及的统计量的分布。当使用的是已经重复理解的统计量（如样本均值）时，很容易开展相关分析。那么，在处理复杂问题时该怎么办？本章的目的就是要解释当传统的和分析统计方法无效时，如何利用模拟或蒙特卡罗方法进行推断。根据Murdoch [2000]，蒙特卡罗最早是指利用随机游走（random walks）的模拟。后面逐步说明蒙 阅读全文

摘要：许多计算统计方法需要从已知概率分布中生成随机变量，这也是用于统计推断（statistical inference)的蒙特卡罗方法的核心。 1.均匀随机数（Uniform Random Numbers） 均匀分布在(0,1)上的随机数是生成其它随机变量的基础。目前，计算机依靠判决算法生成的其实是伪随机数。生成均匀随机变量的相关方法在[Gentle, 1998]中有详尽的讨论。 生成均匀分布随机变量... 阅读全文

摘要：转自http://www.cppblog.com/sosi/archive/2010/10/16/130127.aspx In probability theory and information theory, the Kullback–Leibler divergence[1][2][3] (also information divergence,information gain,... 阅读全文