产生于19世纪50年代早期。MCMC方法将马尔科夫(Markov)过程引入到蒙特卡洛模拟中,实现抽样分布随模拟的进行而改变的动态模拟,弥补了传统的蒙特卡洛积分只能静态模拟的缺陷。MCMC方法是一种简单有效的计算方法,在很多领域得到应用,如贝叶斯(Bayes)问题、计算机问题等。MCMC方法是使用马尔科夫链的蒙特卡洛积分。设为某一空间,
为产生的总样本数,
为链条达到平稳时的样本数,则MCMC方法的基本思路可概括为:①构造马尔科夫链。构造一条马尔科夫链,使其收敛到平稳分布
。②产生样本。由
中的某一点
出发,用①中的马尔科夫链进行抽样模拟,产生点序列:
。③蒙特卡洛积分。任意一函数的期望估计为:
。
采用MCMC方法时,马尔科夫链转移核的构造至关重要。不同的转移核的构造方法,将产生不同的MCMC方法。常用的MCMC方法主要有两种,分别为Metropolis-Hastings算法和Gibbs抽样。