在通信系统中,收信者不知道信源发出的消息,消息是不确定的、随机的,所以可以用随机变量、随机矢量或者随机过程来描述信源输出的消息。通常用一个样本空间及其概率测度——概率空间来描述信源。
信源统计模型
对信源进行数据统计分析的模型。
- 英文名称
- statistic model of information source
- 所属学科
- 信息与通信工程
单符号离散信源的消息符号是离散的且是有限的,每次信源的输出为单个的信源符号,且所有符号的概率满足完备性,这是最基本的离散信源,如书信、文稿和电报等。假设离散信源输出的消息符号集合为,相应符号的概率分别为
,则此信源可以用离散随机变量
的概率空间来描述:
…(1)
且满足。
单符号连续信源的信源输出为连续信号,如语音、电压、温度、压力和振动信号等,这些信源的输出都是连续的,随机取值的,称为连续信源。其输出消息是不可数的。连续信源的数学模型是连续型的概率空间,用下式表示为:
…(2)
并满足。式中
为连续随机变量
的取值区间;
为随机变量
的概率密度函数。
实际信源每次输出的消息是按一定概率选取的符号序列,可以看作是时间上或者空间上的随机矢量。用维随机矢量
表示,又称随机序列。
若随机矢量的各维概率分布都与时间起点无关,这样的信源称为平稳信源。每个随机变量都是离散取值且其可能取值是有限的,这样的平稳信源称为离散平稳信源。每个随机变量
都是连续取值的连续型随机变量,这样的平稳信源则称为连续平稳信源。在连续平稳信源情况下,若信源输出的连续型随机矢量中,各随机变量之间无依赖且统计独立,则称此信源为连续平稳无记忆信源;若信源输出的连续型随机矢量中,各随机变量之间有依赖,则称此信源为连续平稳有记忆信源。
若此信源不同时刻发出的符号之间无依赖关系,彼此统计独立,则为离散无记忆信源。随机矢量所描述的信源称为离散无记忆信源
的
次扩展信源。若信源在不同时刻发出的符号之间是相互依赖的,这种信源为有记忆信源。通常符号之间的依赖关系(记忆长度)是有限的,若记忆长度为
,则称这种有记忆信源为
阶马尔可夫信源。若上述条件概率与时间起点无关,即信源输出符号序列可看成为时齐马尔可夫链,则此信源称为时齐马尔可夫信源。
时间和取值常常都是连续的,如语音信号、热噪声信号和电视信号等时间连续函数。同时,在某一具体时间,它们的可能取值又是连续的和随机的。对于这种信源的输出消息,可用随机过程来描述,称这类信源为随机波形信源(也称随机模拟信源)。按照取样定理,随机过程也可以用一系列离散的取样值来表示,即离散随机序列。