由加拿大多伦多大学学者G.辛顿(G.Hinton)等人于2006年提出。深度置信网络在MNIST(mixed national institute of standards and technology database; 混合国家标准与技术研究所数据库)手写体字符识别数据集上的表现超越了支持向量机,对学习深度网络的发展有重大意义。
深度置信网络是一个概率生成模型,旨在建立观测数据和数据标签之间的联合分布,由多个限制玻尔兹曼机堆叠而成,靠近第一个可视层的限制玻尔兹曼机通常被贝叶斯信念网络所代替。每个限制玻尔兹曼机包含一个可视层和一个隐含层,层与层之间存在连接,层内节点彼此之间不存在连接。可视层节点既可为二值变量节点也可为实值变量节点。隐含层节点为随机二值变量节点,隐含层节点通过训练可以获得可视层数据所包含的高阶数据相关性,其输出作为下一个堆叠的限制玻尔兹曼机的可视层输入。相比于其他无监督学习深度网络,深度置信网络的应用相对较少。深度置信网络具有良好的拓展灵活性,其拓展变形后的网络模型(如卷积深度置信网络等)正逐渐成为研究热点。