1一、生成对抗网络(GAN)我们提出了一个通过对抗过程估计生成模型的新框架，在新框架中我们同时训练两个模型：一个用来捕获数据分布的生成模型 G,和一个用来估计样本来自训练数据而不是 G 的概率的判别模型 D,G 的训练过程是最大化 D 产生错误的概率。这个框架相当于一个极小化极大的双方博弈。在任意函数 G 和 D 的空间中存在唯一的解，其中 G 恢复训练数据分布，并且 D 处处都等于 1/2。在 G 和 D 由多层感知器定义的情况下，整个系统可以用反向传播进行训练。在训练或生成样本期间不需要任何马尔科夫链或展开的近似推理网络。实验通过对生成的样品进行定性和定量评估来展示这个框架的潜力。目标函数GAN 的目标函数：唱 nn^xV(D,G)=耳*如(对[log£)(©)]+已上沁(习[1 嚥 1_£»(G(z)))].从判别器 D 的角度，他希望自己可以尽可能的区分真是样本和虚假样本，因此希望 D(x)尽可能的大，D(G(x))尽可能的小，即 V(D,G)尽可能的大。从生成器的角度看，他希望自己尽可能的骗过 D,也就是希望 D(G(x))尽可能的大，即 V(D,G)尽可能的小。两个模型相对抗，最后达到全局最优。图中，黑色曲线是真实样本的概率分布函数，绿色曲线是虚假样本的概率分布函数，蓝色曲线是判别器 D 的输出，它的值越大表示这个样本越有可能是真实样本。最下方的数噪声 z，它映射到了 X。我们可以看到，一开始，虽然 G(z)和 x 是在同一个特征空间里的，但它的的差异很大，这时，虽然鉴别真实样本和虚假样本的模型 D 性能也不强，但它很容易就能把两者区分开来，而随着训练的推进，虚假样本的分布住建与真实样本重合，D虽然也在不断更新，但也已经力不从心了。最后黑线和绿线几乎重合，模型达到了最优状态，这时 D 的输出对弈任意样本都是.最优化问题表达2定义最优化问题的方法由两部分组成，首先我们需要定义判别器 D 以判别样本是不是从 Pdata(x)分布中取出来的，因此有：爲〜皿何輛(砂))其中 E 指代取期望。这一项是根据「正类」(即辨别出 x 属于真实数据 data)的对数损失函数而构建的。最大化这一项相当于令判别器 D 在 x 服从于 data 的概率密度时能准确地预测 D(x)=l，即：—1when®~网曲佃)另外一项是企图欺骗判别器的生成器 G。该项根据「负类」的对数损失函数而构建，即：耳“3-Q(G⑵))我们定义目标函数为：niinmaxV(D.G)=%”g)[logD(0]+叫海何険卩-P(G(z)))].对于 D 而言要尽量使公式最大化(识别能力强)，而...
VIP
