生成AIの背後にある数学：GAN、VAE、拡散モデル

生成モデルの仕事は、アーキテクチャ図をすべて取り除いてみれば、常に同じ根底にある統計的問題です：実データがそこから引かれた確率分布を、そこから新しいサンプルを引き出して同じところから来たように見えるくらい十分に学習することです。GAN、VAE、拡散モデルはすべてこの同じ問題を解いています — ただそこに至るために全く異なる数学的な経路をたどっているだけです。

大学院発展

GAN：生成を競争に変える

敵対的生成ネットワーク（GAN）は確率分布の問題をほぼ完全に迂回し、生成を二人プレイヤーのゲームに変えます。生成ネットワークはランダムなノイズを偽のサンプルに変換します。識別ネットワークは本物のサンプルと偽物を見分けるよう訓練されます。生成器は識別器を欺くよう訓練され、識別器は欺かれないよう訓練されます。形式的には、これは価値関数に対するミニマックスゲームであり、理論上の固定点 — 生成器が実データの分布に完璧に一致し、識別器がもはや50/50の当て推量しかできなくなる点 — はナッシュ均衡です。

実際には、この均衡を確実に達成するのは難しいものです。訓練は収束せずに振動することがあり、モード崩壊と呼ばれるよく知られた失敗モードは、生成器が現在の識別器を確実に欺く少数の出力を見つけてしまい、それ以上の探索をやめてしまうときに起こります — 技術的にはゲームを欺いていますが、真の分布の実際の多様性を著しく過小に表現しています。

計算例:GANの識別器の損失

識別器の標準的な損失関数は二値交差エントロピーであり、本物の画像には1に近いスコアを、偽物の画像には0に近いスコアを付けることで報酬が与えられる。ある学習ステップで、識別器が本物の画像にD(本物) = 0.9、偽物の画像にD(偽物) = 0.2というスコアを付けたとする:

• 識別器の損失 = −[ln(D(本物)) + ln(1 − D(偽物))]
• = −[ln(0.9) + ln(0.8)] = −[(−0.105) + (−0.223)]
• = 0.328

完璧な識別器(D(本物) = 1、D(偽物) = 0)であれば、損失はちょうど0になる — どちらもln(1) = 0だからである。すべてを0.5前後で評価してしまう混乱した識別器では、損失は≈1.39になる(−[ln(0.5) + ln(0.5)])。これはまさに、生成器が識別器を追い込もうとしている無意味な「コイン投げ」の状態そのものである。生成器自身の損失は同じD(偽物)のスコアから構築されるが、報酬の向きが逆になる — これはまさに、両方のネットワークが1つの共有された数値をめぐってゼロサムの競争をしているという意味である。

VAE：正直な確率モデルを近似する

変分オートエンコーダ（VAE）はより直接的な経路をたどります：各データ点が隠れた潜在変数zから生成されると仮定し、その生成過程を正しく学習しようとします。問題は、観測されたデータ点が与えられたときのzの真の事後分布を計算することが、最も単純なモデル以外では計算不可能だということです。VAEの答えは、この事後分布を近似する第二のネットワークを訓練することであり、データの尤度を直接最大化する（それは計算できません）代わりに、その証明可能な下限 — エビデンス下限、すなわちELBO — を最大化します。これはきちんと再構成項とKLダイバージェンス項に分解でき、後者が学習された潜在空間を単純できちんと定義された事前分布に近く保ちます。

潜在空間を本当に有用にしているのはこのKL項です：似たものを互いに近くに保ち、モデルが孤立した点を単に記憶してしまうことを防ぎます。これこそが、VAEの潜在空間が全く異なる二つの入力の間で滑らかな内挿を可能にする理由であり、この手法の最も有用な性質の一つです。

拡散モデル：制御されたノイズ除去としての生成

拡散モデルは第三の、大きく異なる経路をたどります。順方向の過程は固定されており、訓練を全く必要としません：実画像を取り、少量のガウスノイズを何度も繰り返し加えていき、認識できるものが何も残らなくなるまで続けます。実際に学習される唯一のものは逆方向の過程です — 各ステップでどのノイズがちょうど加えられたかを予測し、それを差し引けるようにネットワークを訓練します。この学習された逆過程を純粋なランダムノイズから開始して実行すれば、全く新しいサンプルを生成できます。

これは確率微分積分学に直接つながります：ノイズを加える順方向の過程は確率微分方程式であり、ネットワークが実際に学習するのは、この方程式の時間反転版を実行するために必要なスコア関数です。これはGANの敵対的なゲームよりもはるかに安定した訓練目標です — 互いに争う二つのネットワークではなく、ノイズを予測することを学習する一つのネットワークだけです — これが、拡散モデルが画像生成において支配的なアプローチになった主な理由です。

三つに共通するパターン：GANは分布を直接モデル化することを避け、代わりに競争を使います。VAEは正直にそれをモデル化しますが、計算不可能なステップを近似しなければなりません。拡散モデルは生成を、一つの難しい予測ではなく、多数の簡単な小さなノイズ除去予測に変えます。

本当にまだ未解決のこと

この分野には研究レベルでもまだ決着のついていない三つの問いがあります。評価は見た目より難しい問題です — 生成されたサンプルが本当に良いかどうかを一つの数字が確実に捉えることはありません。FIDのような標準的な指標は学習された特徴表現の統計を比較するものであり、実際の人間の判断ではなく、欺けることが知られています。制御可能性 — プロンプトや条件付け信号を通じてモデルが生成するものを大まかに影響を与えるのではなく確実に操ること — は、解決済みの工学的問題というより現在も活発な研究分野です。そして最も深い未解決の問いは理論的な限界に関するものです：これらのモデルは訓練分布を超えた真の汎化が可能なのか、それとも新規性のように見えるものはその内部での洗練された内挿にすぎないのか — これはモデルの現在の実装だけでなく、根本的な能力に関する問いです。

これはこの分野が厳密でないことを意味するものではありません — むしろその逆です。未解決の問いが正確にどこにあるかを知ることこそが、生成AIについての本当の理解と、仕組みを知らずに道具を使えるだけの状態とを分けるものです。大学院レベルでAIの数学的基礎を学ぶことがあなたやお子様の目指す先であれば、まさにその深さで教えるのが私たちのやり方です — 大学院向けAI個別指導、または完全な学習の道筋はこちらをご覧ください。