Математика, стоящая за генеративным ИИ: GAN, VAE и диффузионные модели

Работа генеративной модели, если убрать все архитектурные схемы, всегда сводится к одной и той же базовой статистической задаче: изучить распределение вероятностей, из которого были взяты реальные данные, достаточно хорошо, чтобы иметь возможность взять из него новую выборку, которая будет казаться пришедшей из того же места. GAN, VAE и диффузионные модели решают одну и ту же задачу — они просто выбирают совершенно разные математические пути, чтобы к ней прийти.

Углублённый уровень магистратуры

GAN: превращение генерации в соревнование

Генеративно-состязательная сеть (GAN) почти полностью обходит вопрос распределения вероятностей, превращая генерацию в игру двух игроков. Сеть-генератор превращает случайный шум в поддельный образец; сеть-дискриминатор обучается отличать настоящие образцы от поддельных. Генератор обучается обманывать дискриминатор; дискриминатор — не поддаваться на обман. Формально это минимаксная игра на функции ценности, и теоретическая точка равновесия — где генератор в точности соответствует истинному распределению данных, а дискриминатор может только гадать с вероятностью 50/50 — является равновесием Нэша.

На практике этого равновесия трудно достичь надёжно. Обучение может колебаться, а не сходиться, а известный режим отказа под названием «коллапс мод» возникает, когда генератор находит горстку выходных данных, которые надёжно обманывают текущий дискриминатор, и прекращает дальнейшее исследование — технически обманывая игру, но серьёзно недопредставляя истинное разнообразие настоящего распределения.

Разобранный пример: функция потерь дискриминатора в GAN

Стандартная функция потерь дискриминатора — бинарная кросс-энтропия: он вознаграждается за оценку реальных изображений близко к 1, а поддельных — близко к 0. Предположим, на одном шаге обучения дискриминатор оценивает реальное изображение как D(реал) = 0,9, а поддельное как D(подделка) = 0,2:

• Потери дискриминатора = −[ln(D(реал)) + ln(1 − D(подделка))]
• = −[ln(0,9) + ln(0,8)] = −[(−0,105) + (−0,223)]
• = 0,328

Идеальный дискриминатор (D(реал) = 1, D(подделка) = 0) получил бы потери ровно 0 — ln(1) = 0 в обоих случаях. Запутавшийся дискриминатор, оценивающий всё около 0,5, получил бы потери ≈ 1,39 (−[ln(0,5) + ln(0,5)]) — именно тот бесполезный «подброс монеты», к которому генератор пытается его принудить. Собственные потери генератора строятся на той же оценке D(подделка), только вознаграждаемой в противоположном направлении — именно в этом смысле обе сети ведут игру с нулевой суммой вокруг одного общего числа.

VAE: честная вероятностная модель, приближённая

Вариационный автокодировщик (VAE) выбирает более прямой путь: он предполагает, что каждая точка данных генерируется из скрытой латентной переменной z, и пытается корректно изучить этот генеративный процесс. Проблема в том, что вычисление истинного апостериорного распределения z при заданной наблюдаемой точке данных невозможно для чего-либо сложнее самых простых моделей. Решение VAE — обучить вторую сеть для приближения этого апостериорного распределения, и вместо прямой максимизации правдоподобия данных (которое он не может вычислить) он максимизирует доказуемую нижнюю границу этого правдоподобия — нижнюю границу очевидности, или ELBO, — которая аккуратно раскладывается на член реконструкции и член KL-дивергенции, удерживающий изученное латентное пространство близким к простому, чётко определённому априорному распределению.

Именно этот член KL делает латентное пространство по-настоящему полезным: он удерживает похожие элементы близко друг к другу и не даёт модели просто запоминать изолированные точки, что объясняет, почему латентные пространства VAE обеспечивают плавную интерполяцию между двумя очень разными входами — одно из самых полезных свойств этого метода.

Диффузионные модели: генерация как контролируемое устранение шума

Диффузионная модель выбирает третий, совершенно иной путь. Прямой процесс фиксирован и не требует обучения: взять реальное изображение и добавлять к нему небольшое количество гауссова шума много раз подряд, пока не останется ничего узнаваемого. Единственное, что действительно изучается, — это обратный процесс: сеть обучается предсказывать на каждом шаге, какой шум только что был добавлен, чтобы его можно было вычесть. Запустите этот изученный обратный процесс, начиная с чистого случайного шума, — и вы сгенерируете совершенно новый образец.

Это напрямую связано со стохастическим исчислением: прямой процесс зашумления представляет собой стохастическое дифференциальное уравнение, и сеть на практике изучает функцию оценки (score function), необходимую для выполнения обращённой во времени версии этого уравнения. Это гораздо более стабильная цель обучения, чем состязательная игра GAN — не две сети, борющиеся друг с другом, а всего одна сеть, обучающаяся предсказывать шум, — что и является главной причиной, по которой диффузионные модели стали доминирующим подходом к генерации изображений.

Схема, общая для всех трёх: GAN избегает прямого моделирования распределения и вместо этого использует соревнование; VAE моделирует его честно, но вынужден приближать невычислимый шаг; диффузионная модель превращает генерацию в множество мелких лёгких предсказаний устранения шума вместо одного сложного.

Что остаётся по-настоящему нерешённым

Три вопроса в этой области пока не имеют однозначного ответа даже на уровне исследований. Оценка сложнее, чем кажется — ни одно единственное число не отражает надёжно, действительно ли сгенерированный образец хорош; стандартные метрики, такие как FID, сравнивают статистику представлений изученных признаков, а не подлинное человеческое суждение, и, как известно, их можно обмануть. Управляемость — надёжное направление того, что генерирует модель, через инструкцию или сигнал условия, а не широкое влияние на это, — остаётся активной областью исследований, а не решённой инженерной задачей. А самый глубокий открытый вопрос касается теоретических границ: способны ли эти модели на подлинное обобщение за пределами своего обучающего распределения, или то, что выглядит как новизна, является сложной интерполяцией внутри него, — вопрос о фундаментальных возможностях моделей, а не только об их текущей реализации.

Ничто из этого не является поводом считать эту область нестрогой — совсем наоборот. Точное знание того, где именно находятся открытые вопросы, отличает подлинное понимание генеративного ИИ от простого умения пользоваться инструментами без понимания того, как они работают. Если изучение математических основ ИИ на уровне высшего образования — цель вашего ребёнка или ваша собственная, именно на таком уровне глубины мы преподаём — смотрите наше репетиторство по ИИ для аспирантов или полный путь обучения здесь.