库尔贝克-莱布勒信息量

首页 . 理学 . 统计学 . 数理统计 . 参数空间

/Kullback-Leibler information function/

条目作者崔恒建

崔恒建

最后更新 2024-12-04

浏览 169次

最后更新 2024-12-04

浏览 169次

0 意见反馈条目引用

同一概率空间上的两个密度函数之间的熵距离。又称K-L信息量。

英文名称: Kullback-Leibler information function

又称: K-L信息量

所属学科: 统计学

词源

20世纪中叶，统计学家S.库尔贝克^[注]和R.A.莱布勒^[注]提出一个信息量，后人称之为K-L信息量，用以判定两个概率分布的接近程度。对于偶尔的带有随机性质的现象，通常可以认为是服从某一概率分布的随机变量的一些实现值。如果已知（或假设）真正的概率分布，从而估计模型的好坏，就需要一个度量，这就是库尔贝克-莱布勒（Kullback-Leibler）信息量，即K-L信息量。它包括离散型分布的K-L信息量和连续型分布的K-L信息量。

离散型分布的情形

设实际（基准）的概率分布列为 $P=\{ p_1,p_2,\cdots,p_m\}$ ，式中 $p_i$ 为事件 $W_i$ 发生的概率。故有 $p_i>0$ ， $\sum^m_{i=1}p_i=1$ 。设选择（评价）的模型为 $Q=\{q_1,q_2,\cdots,q_m\}$ ，事件 $W_i$ 发生，则取值为 $\ln\frac{p_i}{q_i}$ 的随机变量 $\ln(\frac{P}{Q})$ 的期望 $I(P,Q)=E(\ln\frac{P}{Q})=\sum^m_{i=1}p_i \ln \frac{p_i}{q_i}$ 称为模型 $Q$ 关于实际分布 $P$ 的K-L信息量。

K-L信息量有下列性质：设 $P,Q$ 满足 $p_i>0,q_i>0(i=1,\cdots,m)$ 和 $\sum^m_{i=1}p_i=\sum^m_{i=1}q_i=1$ 的概率分布。此时，上述定义的 $I(P,Q)$ 满足 $I(P,Q)\geqslant 0;I(P,Q)=0\Leftrightarrow p_i=q_i(i=1,2,\cdots,m)$ 。

连续型分布的情形

设 $g(x)$ 是实际（基准）模型的概率密度函数， $f(x)$ 是选择（评价）模型的概率密度函数，关于实际模型概率分布的K-L统计量定义为：

$I(f,g)=E \left\{ \ln \left( \frac{g(x)}{f(x)} \right) \right\} =\int^{+\infty}_{-\infty} g(x) \ln \left( \frac{g(x)}{f(x)} \right) \text{d}x$

类似地有以下性质 $I(g,f)\geqslant0;I(g,f)=0\Leftrightarrow g=f$ 。

扩展阅读

KULLBACK S，LEIBLER R A．On Information and Sufficiency．The Annals Of Mathematical Statistics，1951，22(1)：79-86．