统计决策理论

所谓决策，就是要对一件事做出决定，它跟推断的差别在于是否要涉及后果。推断就好比你一个哥们儿唾沫横飞的跟你分析追某妹纸的各种可能性，他会说的头头是道因为纸上谈兵终为易，决策呢，就是你在采取追或者不追的行动时估计所要付出的成本和产生的后果，然后决定到底追不追。在做统计推断时，统计学家都是按照统计理论来进行的，根本不会考虑推断后的结论在使用时产生的效应或者损失。然后在实际情况中，我们使用推断的结果就必然带来效益或者损失，在不同应用中存在着不同的效益函数或者损失函数，这时我们度量一个推断的好坏就可以根据定义的效益函数或者损失函数，我们在实际中一般都会采用带来最大效益或者最小损失的那个推断，这就是决策。

决策三大要素

第一是状态集，就是我们的应用中所有可能会出现的状态的集合，可以是有限的也可能是无限的。比如明天的天气状态可表示为{晴天，下雨}这个状态集，要估计一个参数的值的时候，这时状态集就是其所有可能的取值。

第二是行动集，就是我们的应用中所有可能采取的行动的集合，可以是有限的也可以是无限的。比如明天我们可能的活动有{踢球，在家}两种行动。

第三是是效益函数或者损失函数，这两者本质上是相同的，收益多损失自然就少，收益少损失自然就多，所以后面都用损失函数来说明。如果状态集和行动集都是有限的，那么损失函数就可以表示为的矩阵，比如我们可以定义前面天气和活动的损失函数可表示如下

	踢球	在家
晴天	0	5
下雨	10	1

决策准则

给定一个决策问题做决策就是在行动集上选取一种行动，使得损失最小。这种行动在实际应用中往往是很难成立的，某一行动可能在状态时损失很小，但是在另一状态时损失就非常大。在这样复杂交错的情况下该怎么办呢，在实际应用中有各种准则去解决这些问题，下面介绍几种常用的准则。

悲观准则：首先对每一种行动选择出最大的损失。然后比较各种行动的最大损失，选出最小的那个所对应的行动，这里采用的是最小最大法则。可以看出悲观准则是一种非常保守的作法，把什么事情都朝着最严重的方向去考虑，在最不利的情况下找出受伤害最小的，两害相权取其轻也。在实际中往往适合于经不起什么风险的项目，比如搞点小投资、做点小买卖啥的。

乐观准则：首先对每一种行动选择出最小的损失，然后比较各种行动的损失，选出最小的那个所对应的行动。明显，乐观准则是一种非常冒险的作法，对于每种行动都很傻很天真的幻想最美好的结果，这比较吻合赌徒的心里。

折中准则：它定义一个乐观系数，对于每一种行动计算最大的损失和最小损失，然后计算一个折中的损失，然后比较每种行动对应的折中的损失，选出最小的那个所对应的行动。这种方法明显的集成了我们中华民族几千年来的儒家文化精髓：中庸。但是这种情况要确定一个比较好的了乐观系数通常都是很困难的。

统计决策理论

统计决策理论是频率学派们的观点。我们定义决策函数是从样本空间到行动集的一个映射，就是根据根据我们看到的样本信息决定采取的行动。这样损失函数可以写成。由于我们根据前面知道老频们认为是固定的，所以可以轻易的看出来损失函数只跟样本有关系。为了消除这种不确定性，可以对样本空间上的分布求期望来实现，这就形成了风险函数。风险函数的定义如下

我们称为的风险函数。这里可见风险函数是一种平均损失，它是在样本空间上的平均。风险函数越小越好，它是衡量决策函数优劣的一把标尺。不同的决策有不同的风险函数，当决策函数给定时，我们看到风险函数仍然是的函数。比较两个风险函数和的大小，就需要比较两个函数的大小。比较两个实数的大小容易，但是比较两个函数的大小是困难的，对不同的,两个函数值的大小可能呈交替变化，很难说哪个大哪个小。

一致最优：设和是两个决策函数，如果对于参数空间上的任意值都有，并且存在一些取值使不等式严格成立，则称一致最优于。如果对于任意值，等号都成立，则称和是等价的。设是决策函数类中任意一个决策函数，如果在决策函数类中存在这样一个决策函数，对于参数空间上的任意值都有，我们就说是决策函数类中的一致最优决策函数。当然，上面的定义都是对应于特定的损失函数，当损失函数变了，一致最优决策函数就变了，甚至可能不存在。举个简单的例子说明一下，设是来自总体分布的样本，在寻求的点估计中，我们行动集显然就是参数空间上所有的可能取值，估计量就是从样本空间到行动集的一个决策函数，损失函数就是用去估计真实值所引起的损失，假设我们平方损失函数，那么风险函数就是的均方误差