模型平均一般包括组合估计和组合预测这两部分。在有关模型平均的理论研究中,大家比较关心的问题是如何对不同的备选模型选择出合理的权重进行组合加权得到最终的预测结果。
模型平均的动机来源于模型选择。对于一组观测数据,可以用许多种模型来描述其产生的机制,究竟哪个模型能更好地反映其真实的产生过程显然是一个十分重要的问题。为此,统计学家们提出了许多模型选择的方法和准则,例如逐步回归、AIC(Akaike Information Criterion)、 马洛斯的Cp值(Mallows's Cp)、交叉验证、BIC(Bayesian Information Criterion)、广义交叉验证、RIC(Risk Inflation Criterion)等。根据这些方法或准则,可以从众多待选模型中挑选出适当的模型,其后的统计推断都基于这个选定的模型。然而,这一过程忽略了模型选择阶段所带来的不确定性,其直接后果是低估实际的变异,这样对基于所选模型而得到的估计或预测的精确度难以令人信服,所报告的置信区间也过于乐观。为此英国巴斯大学学者D.德雷珀(David Draper)考虑了统计推断中由于忽略模型选择过程的不确定性而带来的种种问题并利用贝叶斯模型平均方法加以解决,通过油价预测和挑战者号航天飞机事故两个例子验证了贝叶斯模型平均方法如何应用。
相对于贝叶斯模型平均,频率模型平均估计的研究要少一些,但是统计学家们也从频率的观点研究了模型平均估计方法。例如,为了解决模型选择过程带来的不确定性,英国爱丁堡大学学者S.T.巴克兰(Stephen T.Buckland)等提出用AIC或BIC的指数形式作为备选模型的权重,将基于不同备选模型得到的估计结果进行加权平均。这是与贝叶斯模型平均完全不同的加权方法。频率模型平均是一种完全基于似然的估计形式。
模型平均关心的核心问题是基于不同模型的估计的权重的选取问题。相对于变量选择方法,模型平均在预测方面具备诸多优势。由于规避了模型选择的风险,模型平均的一个很显著的优点就是预测的稳定性。通过一定的方式赋予重要备选模型相对较大的权重使得模型平均具有相当不错的预测精度。因此,一直以来模型平均被广泛用于经济管理领域的预测问题。例如,在付费搜索广告中,模型平均可以用来预测某款热门广告的点击量。在经济领域,模型平均经常用于预测GDP、CPI等核心经济指标。例如,粮食产量的预测是关系到国家经济发展的大事,因为准确的粮食产量预测将为政府安排粮食收购、存储和进出口工作提供重要的依据,并且为国家农业政策的制定提供科学依据。影响粮食产量的各种可能解释变量包括粮食播种面积、化肥施用量、成灾面积、农业从业人数,被解释变量为粮食产量。由于不能确定包含哪个解释变量会产生更好的预测效果,根据4个不同的解释变量可以产生多个可能的备选模型。在所有的备选模型中,最多有5个解释变量(包括截距项)。通过采用不同的信息准则(AIC、BIC、HIC等),可以得到一个相对于变量选择来说更稳健的估计效果。