生成式AI背后的数学:GAN、VAE与扩散模型

生成模型的工作,一旦剥去所有的架构图,始终是同一个底层的统计问题:学习真实数据所抽取的概率分布,学得足够好,以便能从中抽取一个看起来来自同一个地方的新样本。GAN、VAE和扩散模型都在解决这同一个问题——它们只是选择了完全不同的数学路径来实现它。

研究生拓展

GAN:把生成变成一场竞争

生成对抗网络(GAN)几乎完全绕开了概率分布的问题,把生成变成了一个双人博弈。一个生成器网络把随机噪声转变成一个假样本;一个判别器网络被训练来区分真样本和假样本。生成器被训练去欺骗判别器;判别器被训练不被欺骗。从形式上看,这是一个关于价值函数的极小极大博弈,而理论上的固定点——生成器完美匹配真实数据分布,判别器只能做50/50的猜测——是一个纳什均衡。

在实践中,这个均衡很难可靠地达到。训练可能振荡而不是收敛,一种被称为模式崩塌的常见失败模式,发生在生成器找到少数几种能可靠欺骗当前判别器的输出,并停止进一步探索时——虽然在技术上欺骗了这场博弈,但严重低估了真实分布的实际多样性。

一个已解算例:GAN判别器的损失

判别器的标准损失函数是二元交叉熵:它因将真实图像评分接近1、假图像评分接近0而获得奖励。假设在某一训练步骤中,判别器给真实图像打分D(真) = 0.9,给假图像打分D(假) = 0.2:

• 判别器损失 = −[ln(D(真)) + ln(1 − D(假))]
• = −[ln(0.9) + ln(0.8)] = −[(−0.105) + (−0.223)]
• = 0.328

一个完美的判别器(D(真) = 1,D(假) = 0)将得到恰好为0的损失——两次都是ln(1) = 0。一个把所有东西都判为0.5左右的困惑判别器,损失将约为1.39(−[ln(0.5) + ln(0.5)]),这正是生成器试图迫使它陷入的那种毫无意义的「抛硬币」状态。生成器自身的损失正是由相同的D(假)分数构建而成,只是奖励方向相反——这正是两个网络围绕同一个共享数字进行零和博弈的确切含义。

VAE:一个诚实的概率模型,经过近似

变分自编码器(VAE)走了一条更直接的路径:它假设每个数据点都是从一个隐藏的潜在变量z生成的,并试图正确学习这个生成过程。问题是,计算给定观测数据点的z的真实后验分布,除了最简单的模型之外都是不可计算的。VAE的答案是训练第二个网络来近似这个后验分布,并且不直接最大化数据的似然(它无法计算),而是最大化一个可证明的下界——证据下界,即ELBO——它可以整齐地分解为一个重建项和一个KL散度项,后者使学到的潜在空间保持接近一个简单、明确定义的先验分布。

正是这个KL项使潜在空间真正有用:它让相似的东西彼此靠近,并防止模型仅仅记住孤立的点,这正是VAE的潜在空间能在两个截然不同的输入之间实现平滑内插的原因,也是这种方法最有用的性质之一。

扩散模型:把生成变成受控的去噪

扩散模型走了第三条,截然不同的路径。正向过程是固定的,不需要任何训练:取一张真实图像,反复多次给它加一点点高斯噪声,直到不再剩下任何可辨认的东西。真正被学习的唯一事情是逆向过程——训练一个网络在每一步预测刚刚加入了什么噪声,以便能把它减去。从纯粹的随机噪声开始运行这个学到的逆过程,你就能生成一个全新的样本。

这直接联系到随机微积分:正向的加噪过程是一个随机微分方程,而网络实际学习的是运行该方程时间反转版本所需的分数函数。这是一个比GAN的对抗性博弈更稳定的训练目标——不是两个相互对抗的网络,只是一个学习预测噪声的网络——这正是扩散模型成为图像生成主流方法的主要原因。

三者共同的模式:GAN避免直接为分布建模,而是用竞争来代替;VAE诚实地为其建模,但必须近似一个不可计算的步骤;扩散模型把生成变成许多个简单的小型去噪预测,而不是一个困难的预测。

真正尚未解决的问题

该领域有三个问题至今没有明确答案,即使在研究层面也是如此。评估比看起来更难——没有单一的数字能可靠地捕捉一个生成的样本是否真正好;像FID这样的标准指标比较的是学到的特征表示的统计量,而不是真正的人类判断,并且已知可以被欺骗。可控性——通过提示或条件信号可靠地引导模型生成什么,而不仅仅是大致影响它——仍然是一个活跃的研究领域,而不是一个已解决的工程问题。而最深刻的开放问题涉及理论极限:这些模型是否真的能超越其训练分布进行泛化,还是看起来像新颖性的东西其实是分布内部复杂的内插——这是一个关于模型根本能力的问题,而不仅仅是当前实现的问题。

这一切都不是把该领域视为不严谨的理由——恰恰相反。准确知道开放问题在哪里,正是把对生成式AI的真正理解,与仅仅能够使用工具却不知道它们为什么起作用区分开来的关键。如果在研究生层面学习AI的数学基础是您或您的孩子的目标,这正是我们教学的深度——请看我们的研究生AI个别指导,或在这里查看完整的学习路径。