Las matemáticas detrás de la IA generativa: GAN, VAE y modelos de difusión

El trabajo de un modelo generativo, despojado de los diagramas de arquitectura, es siempre el mismo problema estadístico subyacente: aprender la distribución de probabilidad de la que se extrajeron los datos reales, lo bastante bien como para poder extraer una nueva muestra que parezca provenir del mismo lugar. Los GAN, VAE y modelos de difusión resuelven todos este mismo problema — simplemente toman caminos matemáticos completamente diferentes para llegar ahí.

Ampliación de máster

Los GAN: convertir la generación en una competición

Una red generativa antagónica (GAN) evita casi por completo la cuestión de la distribución de probabilidad, convirtiendo la generación en un juego de dos jugadores. Una red generadora transforma ruido aleatorio en una muestra falsa; una red discriminadora se entrena para distinguir las muestras reales de las falsas. El generador se entrena para engañar al discriminador; el discriminador, para no dejarse engañar. Formalmente, esto es un juego minimax sobre una función de valor, y el punto fijo teórico — donde el generador coincide perfectamente con la distribución real de los datos y el discriminador solo puede adivinar al 50/50 — es un equilibrio de Nash.

En la práctica, este equilibrio es difícil de alcanzar de forma fiable. El entrenamiento puede oscilar en vez de converger, y un modo de fallo conocido llamado colapso de modo ocurre cuando el generador encuentra un puñado de salidas que engañan de forma fiable al discriminador actual y deja de explorar más — engañando técnicamente el juego, mientras subrepresenta gravemente la verdadera diversidad de la distribución real.

Un ejemplo resuelto: la pérdida del discriminador de una GAN

La función de pérdida estándar del discriminador es la entropía cruzada binaria: se le recompensa por puntuar las imágenes reales cerca de 1 y las falsas cerca de 0. Supongamos que en un paso de entrenamiento el discriminador puntúa una imagen real con D(real) = 0,9 y una imagen falsa con D(falsa) = 0,2:

• Pérdida del discriminador = −[ln(D(real)) + ln(1 − D(falsa))]
• = −[ln(0,9) + ln(0,8)] = −[(−0,105) + (−0,223)]
• = 0,328

Un discriminador perfecto (D(real) = 1, D(falsa) = 0) obtendría una pérdida exactamente de 0 — ln(1) = 0 en ambos casos. Un discriminador confundido que puntúa todo alrededor de 0,5 obtendría una pérdida ≈ 1,39 (−[ln(0,5) + ln(0,5)]), que es exactamente el inútil «lanzamiento de moneda» al que el generador intenta forzarlo. La propia pérdida del generador se construye a partir de la misma puntuación D(falsa), solo que recompensada en la dirección opuesta — que es el sentido preciso en el que las dos redes juegan una competición de suma cero sobre un mismo número compartido.

Los VAE: un modelo probabilístico honesto, aproximado

Un autoencoder variacional (VAE) toma el camino más directo: asume que cada punto de datos se genera a partir de una variable latente oculta z, e intenta aprender correctamente ese proceso generativo. El problema es que calcular la verdadera distribución posterior de z dado un punto de datos observado es intratable para todo lo que supere los modelos más simples. La respuesta de un VAE es entrenar una segunda red para aproximar esa distribución posterior, y en vez de maximizar directamente la verosimilitud de los datos (que no puede calcular), maximiza una cota inferior demostrable de ella — la cota inferior de la evidencia, o ELBO — que se descompone limpiamente en un término de reconstrucción y un término de divergencia KL que mantiene el espacio latente aprendido cerca de una distribución previa simple y bien definida.

Es este término KL el que hace que el espacio latente sea realmente útil: mantiene los elementos similares cerca entre sí y evita que el modelo simplemente memorice puntos aislados, lo que explica por qué los espacios latentes de los VAE permiten una interpolación fluida entre dos entradas muy diferentes, una de las propiedades más útiles del método.

Los modelos de difusión: la generación como deshacer controlado

Un modelo de difusión toma un tercer camino, muy diferente. El proceso hacia adelante es fijo y no requiere entrenamiento: tomar una imagen real y añadirle repetidamente una pequeña cantidad de ruido gaussiano, hasta que no quede nada reconocible. Lo único que realmente se aprende es el proceso inverso — una red entrenada para predecir, en cada paso, qué ruido se acaba de añadir, para poder restarlo. Ejecute ese proceso inverso aprendido partiendo de ruido aleatorio puro, y generará una muestra completamente nueva.

Esto se conecta directamente con el cálculo estocástico: el proceso hacia adelante de adición de ruido es una ecuación diferencial estocástica, y la red aprende efectivamente la función de puntuación necesaria para ejecutar la versión invertida en el tiempo de esa ecuación. Es un objetivo de entrenamiento mucho más estable que el juego adversarial de un GAN — no dos redes enfrentándose, solo una red que aprende a predecir ruido — que es la razón principal por la que los modelos de difusión se han convertido en el enfoque dominante para la generación de imágenes.

El patrón a recordar en los tres: un GAN evita modelar directamente la distribución y usa competición en su lugar; un VAE la modela honestamente pero debe aproximar un paso intratable; un modelo de difusión convierte la generación en muchas predicciones pequeñas de eliminación de ruido fáciles en vez de una difícil.

Lo que realmente sigue sin resolverse

Tres preguntas en este campo aún no tienen respuesta definitiva, incluso a nivel de investigación. La evaluación es más difícil de lo que parece — ningún número único capta de forma fiable si una muestra generada es realmente buena; métricas estándar como el FID comparan estadísticas de representaciones de características aprendidas, no un juicio humano real, y se sabe que pueden engañarse. La controlabilidad — dirigir de forma fiable lo que genera un modelo mediante una instrucción o una señal de condicionamiento, en vez de influirlo vagamente — sigue siendo un campo de investigación activo en vez de un problema de ingeniería resuelto. Y la pregunta abierta más profunda concierne a los límites teóricos: ¿son estos modelos capaces de una verdadera generalización más allá de su distribución de entrenamiento, o lo que parece novedad es una interpolación sofisticada dentro de ella — una pregunta sobre las capacidades fundamentales de los modelos, no solo sobre su implementación actual.

Nada de esto es motivo para considerar este campo poco riguroso — todo lo contrario. Saber exactamente dónde están las preguntas abiertas es lo que distingue la comprensión real de la IA generativa de la mera capacidad de usar las herramientas sin saber cómo funcionan. Si el estudio de los fundamentos matemáticos de la IA a nivel de posgrado es el destino de su hijo o el suyo propio, es exactamente la profundidad a la que enseñamos — vea nuestra clase particular de IA de posgrado o el camino de aprendizaje completo aquí.