1 深度学习--深度信念网络（Deep Belief Netw ork） 概述 深度信念网络 (Deep Belief Network, DBN) 由 Geoffrey Hinton 在 2006 年提出。它是一种生成模型，通过训练其神经元间的权重，我们可以让整个神经网络按照最大概率来生成训练数据。我们不仅可以使用 DBN 识别特征、分类数据，还可以用它来生成数据。下面的图片展示的是用 DBN 识别手写数字： 图 1 用深度信念网络识别手写数字。图中右下角是待识别数字的黑白位图，它的上方有三层隐性神经元。每一个黑色矩形代表一层神经元，白点代表处于开启状态的神经元，黑色代表处于关闭状态的神经元。注意顶层神经元的左下方即使别结果，与画面左上角的对应表比对，得知这个 DBN 正确地识别了该数字。 下面是展示了一个学习了大量英文维基百科文章的 DBN 所生成的自然语言段落： 2 In 1974 Northern Denver had been overshadowed by CNL, and several Irish intelligence agencies in the Mediterranean region. However, on the Victoria, Kings Hebrew stated that Charles decided to escape during an alliance. The mansion house was completed in 1882, the second in its bridge are omitted, while closing is the proton reticulum composed below it aims, such that it is the blurring of appearing on any well-paid type of box printer. DBN 由多层神经元构成，这些神经元又分为显 性 神 经 元和隐性 神 经 元（以下简称显元和隐元）。显元用于接受输入，隐元用于提取特征。因此隐元也有个别名，叫特征检测器 (feature detectors)。最顶上的两层间的连接是无向的，组成联合内存 (associative memory)。较低的其他层之间有连接上下的有向连接。最底层代表了数据向量 (data vectors)，每一个神经元代表数据向量的一维。 DBN 的组成元件是受限玻尔兹曼机 (Restricted Boltzmann Machines, RBM)。训练 DBN 的过程是一层一层地进行的。在每一层中，用数据向量来推断隐层，再把这一隐层当作下一层 (高一层) 的数据向量。 受限玻尔兹曼机 如前所述，RBM 是 DBN 的组成元件。事实上，每一个 RBM 都可以单独用作聚类器。 3 RBM 只有两层神经元，一层叫做显 层 (visible layer)，由显 元 (visible units) 组成，用于输入训练数据。另一层叫...
VIP
