统计学家A.瓦尔德在20世纪40年代建立起统计决策理论,统计决策理论引入损失函数,用来度量效益大小,评判统计推断结果的优劣。对一个统计决策问题而言,为了选择一个较优的决策函数,需要建立反映决策函数优劣的指标,风险函数定义为采取决策函数所遭受的平均损失,在风险函数越小,决策函数越优的原则下,可以引进各种具体且可行的准则,可容许性便是其中一种准则。可以想象过去认为应当多数是可容许的优良的估计,但也有超乎人们想象的结果,例如,W.詹姆斯(William James)和C.M.斯坦因在1956年及1964年就证明了三维以上的正态分布以样本均值估计均值,在平方损失下时不容许的;一维正态分布的方差,在平方损失下样本方差的线性函数也是不容许的,这引起了人们的更大兴趣。
可容许性
统计决策问题中决策函数的基本性质。在一般的统计决策问题中,通过风险函数来描述决策函数的优劣,容许性是挑选决策函数的基本准则,一个好的决策函数应当具备可容许性。
- 英文名称
- admissibility
- 所属学科
- 统计学
构成统计决策问题包含三要素:①可控参数统计结构,其中参数空间
中的每个元素为自然界或社会可能处的状态。②行动空间
,其中
是为解决某统计决策问题,人们对自然界或社会可能做出的一切行动的全体,
中的每个元素表示一个行动。③损失函数
,定义在参数空间和行动空间上的二元函数,表示当自然界或社会处在状态
时,人们采取行动
对人们引起的损失。
决策函数定义为从样本空间到行动空间上的映射,即给定样本后决策者选择采取的行动。对于决策函数
而言,风险函数
定义为决策函数的平均损失
,平均损失越小越好,因此它是可以度量决策函数好坏的一把尺子。当决策函数给定时,风险函数仍为参数
的函数,比较两个决策函数的好坏就是要比较其对应风险函数的大小。
可容许性准则:决策函数称为可容许的,假如不存在决策函数
满足如下两个条件。①
,
。②
,
。从风险越小越优的原则出发,当决策函数满足可容许性时,才能被纳入挑选的范围中;当决策函数不可容许时,即该决策在所有自然界的状态下都比某个其他决策的风险大,那么决策者没有理由去使用它。
从可容许性的定义中可以看出,利用风险函数对决策函数的可容许性做出评价不在于选优,而在于除劣。因此其实际意义便是在剔除掉不可容许的决策函数,缩小了挑选的范围之后,再进行下一步的选择。
判定决策函数是否可容许,是统计决策理论中重要而困难的问题,经典统计推断例如点估计等也包含在统计决策理论当中,点估计的容许性是20世纪初的统计学的研究课题,例如对于正态均值而言,样本均值是其很好的估计,因为样本均值拥有数个良好的性质(极大似然估计,一致最小方差无偏估计),但斯坦因在1956年指出,元正态分布在二次损失函数及
下,样本均值向量是正态均值向量的非容许估计,这个结果在当时的统计界引起轰动,并产生持续二三十年之久的研究容许性的热潮,如今被称为斯坦因效应。
斯坦因的这篇论文发表后,引起了统计学家们的注意,他们考虑了许多的问题,例如在别的分布族中是否会出现类似的现象?常用的统计量是否都是可容许的?斯坦因的结果给人们留下深刻的印象,引起了一系列的研究。例如对现代统计学有最深刻的影响的是詹姆斯-斯坦因(James-Stein)估计,该估计引出了用一种收缩的方法去减少方差(牺牲偏差的代价下),这种方法在现代的高维统计模型中有着广泛的应用(如岭回归、lasso回归等)。
扩展阅读
- WALD A.Statistical Decision Functions.New York:Wiley,1950.
- SAMWORTH R.Small Confidence Sets for the Mean of A Spherically Symmetric Distribution.Journal of the Royal Statistical Society: Series B (Statistical Methodology),2010,67(3):343-361.