Die Mathematik hinter generativer KI: GANs, VAEs und Diffusionsmodelle

Die Aufgabe eines generativen Modells ist, entkleidet von Architekturdiagrammen, immer dasselbe zugrunde liegende statistische Problem: die Wahrscheinlichkeitsverteilung zu lernen, aus der echte Daten gezogen wurden, gut genug, um eine neue Stichprobe daraus zu ziehen, die wie vom selben Ort zu stammen scheint. GANs, VAEs und Diffusionsmodelle lösen alle dasselbe Problem — sie nehmen nur völlig unterschiedliche mathematische Wege, um dorthin zu gelangen.

GANs: Erzeugung in einen Wettbewerb verwandeln

Ein Generative Adversarial Network (GAN) umgeht die Frage der Wahrscheinlichkeitsverteilung fast vollständig, indem es Erzeugung in ein Zwei-Spieler-Spiel verwandelt. Ein Generator-Netzwerk verwandelt zufälliges Rauschen in eine gefälschte Stichprobe; ein Diskriminator-Netzwerk wird trainiert, echte von gefälschten Stichproben zu unterscheiden. Der Generator wird trainiert, den Diskriminator zu täuschen; der Diskriminator, sich nicht täuschen zu lassen. Formal ist dies ein Minimax-Spiel über eine Wertefunktion, und der theoretische Fixpunkt — bei dem der Generator perfekt der echten Datenverteilung entspricht und der Diskriminator nur noch bei 50/50 raten kann — ist ein Nash-Gleichgewicht.

In der Praxis ist dieses Gleichgewicht schwer zuverlässig zu erreichen. Das Training kann oszillieren statt konvergieren, und ein bekannter Fehlermodus namens Mode Collapse tritt auf, wenn der Generator eine Handvoll Ausgaben findet, die den aktuellen Diskriminator zuverlässig täuschen, und aufhört, weiter zu erkunden — er täuscht technisch das Spiel, während er die tatsächliche Vielfalt der wahren Verteilung stark unterrepräsentiert.

VAEs: ein ehrliches probabilistisches Modell, angenähert

Ein Variational Autoencoder (VAE) nimmt den direkteren Weg: Er nimmt an, dass jeder Datenpunkt aus einer verborgenen latenten Variable z erzeugt wird, und versucht, diesen erzeugenden Prozess korrekt zu lernen. Das Problem ist, dass die Berechnung der wahren Posteriori-Verteilung von z gegeben einen beobachteten Datenpunkt für alles außer den einfachsten Modellen unhandhabbar ist. Die Antwort eines VAE ist, ein zweites Netzwerk zu trainieren, um diese Posteriori-Verteilung anzunähern, und statt die Datenlikelihood direkt zu maximieren (was es nicht berechnen kann), maximiert es eine nachweisbare untere Schranke davon — die Evidence Lower Bound, oder ELBO —, die sich sauber in einen Rekonstruktionsterm und einen KL-Divergenz-Term zerlegt, der den gelernten latenten Raum nahe an einer einfachen, wohldefinierten Prior hält.

Es ist dieser KL-Term, der den latenten Raum wirklich nützlich macht: Er hält ähnliche Dinge nahe beieinander und verhindert, dass das Modell einfach isolierte Punkte auswendig lernt, weshalb VAE-latente Räume eine flüssige Interpolation zwischen zwei sehr unterschiedlichen Eingaben ermöglichen, eine der nützlichsten Eigenschaften der Methode.

Diffusionsmodelle: Erzeugung als kontrolliertes Rückgängigmachen

Ein Diffusionsmodell nimmt einen dritten, sehr anderen Weg. Der Vorwärtsprozess ist fest und erfordert kein Training: ein echtes Bild nehmen und ihm wiederholt eine kleine Menge Gaußschen Rauschens hinzufügen, bis nichts Erkennbares mehr übrig bleibt. Das Einzige, was wirklich gelernt wird, ist der umgekehrte Prozess — ein Netzwerk, das trainiert wird, bei jedem Schritt vorherzusagen, welches Rauschen gerade hinzugefügt wurde, damit es abgezogen werden kann. Führen Sie diesen gelernten umgekehrten Prozess ausgehend von reinem Zufallsrauschen aus, und Sie erzeugen eine völlig neue Stichprobe.

Dies verbindet sich direkt mit stochastischer Analysis: Der Vorwärts-Rauschprozess ist eine stochastische Differentialgleichung, und das Netzwerk lernt effektiv die Score-Funktion, die nötig ist, um die zeitumgekehrte Version dieser Gleichung auszuführen. Das ist ein deutlich stabileres Trainingsziel als das adversarische Spiel eines GAN — nicht zwei gegeneinander antretende Netzwerke, nur ein Netzwerk, das lernt, Rauschen vorherzusagen — was der Hauptgrund ist, warum Diffusionsmodelle zum dominanten Ansatz für Bilderzeugung geworden sind.

Das Muster, das man sich über alle drei merken sollte: Ein GAN vermeidet, die Verteilung direkt zu modellieren, und nutzt stattdessen Wettbewerb; ein VAE modelliert sie ehrlich, muss aber einen unhandhabbaren Schritt annähern; ein Diffusionsmodell verwandelt Erzeugung in viele kleine, einfache Entrauschungsvorhersagen statt eine schwierige.

Was wirklich ungelöst bleibt

Drei Fragen in diesem Bereich haben selbst auf Forschungsebene noch keine geklärte Antwort. Bewertung ist schwieriger, als es scheint — keine einzelne Zahl erfasst zuverlässig, ob eine erzeugte Stichprobe wirklich gut ist; Standardmetriken wie FID vergleichen Statistiken gelernter Merkmalsdarstellungen, kein echtes menschliches Urteil, und sind bekanntermaßen täuschbar. Steuerbarkeit — zuverlässig zu lenken, was ein Modell erzeugt, über eine Anweisung oder ein Konditionierungssignal, statt es nur grob zu beeinflussen — bleibt ein aktives Forschungsgebiet statt ein gelöstes Ingenieurproblem. Und die tiefste offene Frage betrifft theoretische Grenzen: Sind diese Modelle zu echter Generalisierung über ihre Trainingsverteilung hinaus fähig, oder ist das, was wie Neuheit aussieht, ausgefeilte Interpolation innerhalb davon — eine Frage zu den grundlegenden Fähigkeiten von Modellen, nicht nur zu ihrer aktuellen Implementierung.

Nichts davon ist ein Grund, dieses Gebiet als wenig rigoros zu betrachten — im Gegenteil. Genau zu wissen, wo die offenen Fragen liegen, unterscheidet echtes Verständnis generativer KI davon, die Werkzeuge einfach nutzen zu können, ohne zu wissen, wie sie funktionieren. Wenn das Studium der mathematischen Grundlagen der KI auf Hochschulniveau das Ziel Ihres Kindes oder Ihr eigenes ist, ist das genau die Tiefe, in der wir unterrichten — siehe unsere Hochschul-KI-Nachhilfe oder den vollständigen Lernweg hier.