जेनेरेटिव AI के पीछे की गणित: GAN, VAE और डिफ्यूज़न मॉडल

किसी भी जेनेरेटिव मॉडल का काम, आर्किटेक्चर डायग्राम से अलग करके देखें तो, हमेशा वही अंतर्निहित सांख्यिकी समस्या होती है: वह प्रायिकता वितरण सीखना जिससे वास्तविक डेटा लिया गया था, इतनी अच्छी तरह कि आप उससे एक नया सैंपल निकाल सकें जो ऐसा लगे कि वह उसी जगह से आया हो। GAN, VAE और डिफ्यूज़न मॉडल सभी उसी एक समस्या को हल करते हैं — वे बस वहां पहुंचने के लिए पूरी तरह अलग गणितीय रास्ते अपनाते हैं।

GAN: जनरेशन को एक प्रतियोगिता में बदलना

एक जेनेरेटिव एडवर्सेरियल नेटवर्क (GAN) जनरेशन को दो-खिलाड़ी खेल में बदलकर प्रायिकता वितरण के सवाल को लगभग पूरी तरह टाल देता है। एक जेनरेटर नेटवर्क बेतरतीब शोर को एक नकली सैंपल में बदल देता है; एक डिस्क्रिमिनेटर नेटवर्क वास्तविक सैंपलों को नकली से अलग बताने के लिए प्रशिक्षित होता है। जेनरेटर को डिस्क्रिमिनेटर को धोखा देने के लिए प्रशिक्षित किया जाता है; डिस्क्रिमिनेटर को धोखा न खाने के लिए। औपचारिक रूप से, यह एक वैल्यू फ़ंक्शन पर मिनिमैक्स खेल है, और सैद्धांतिक स्थिर बिंदु — जहां जेनरेटर वास्तविक डेटा वितरण से पूरी तरह मेल खाता है और डिस्क्रिमिनेटर केवल 50/50 अनुमान लगा सकता है — नैश संतुलन है।

व्यवहार में उस संतुलन तक विश्वसनीय रूप से पहुंचना कठिन है। ट्रेनिंग अभिसरित होने के बजाय डगमगा सकती है, और मोड कोलैप्स नामक एक प्रसिद्ध विफलता तब होती है जब जेनरेटर मुट्ठी भर आउटपुट खोज लेता है जो वर्तमान डिस्क्रिमिनेटर को विश्वसनीय रूप से धोखा देते हैं और आगे खोजना बंद कर देता है — तकनीकी रूप से खेल को धोखा देते हुए, जबकि वास्तविक वितरण की वास्तविक विविधता को बुरी तरह कम प्रस्तुत करते हुए।

VAE: एक ईमानदार प्रायिकता मॉडल, अनुमानित

एक वेरिएशनल ऑटोएनकोडर (VAE) अधिक सीधा रास्ता अपनाता है: यह मानता है कि हर डेटा बिंदु किसी छिपे लेटेंट वेरिएबल z से जनरेट होता है, और उस जनरेटिव प्रक्रिया को ठीक से सीखने की कोशिश करता है। समस्या यह है कि किसी देखे गए डेटा बिंदु के लिए z पर सही पोस्टीरियर वितरण की गणना करना सबसे सरल मॉडलों को छोड़कर किसी भी चीज़ के लिए असंभव है। VAE का जवाब है उस पोस्टीरियर का अनुमान लगाने के लिए एक दूसरा नेटवर्क प्रशिक्षित करना, और डेटा लाइकलीहुड को सीधे अधिकतम करने के बजाय (जो यह गणना नहीं कर सकता), यह उसकी एक सिद्ध करने योग्य निचली सीमा को अधिकतम करता है — एविडेंस लोअर बाउंड, या ELBO — जो साफ़ तौर पर एक रीकंस्ट्रक्शन पद और एक KL-डाइवर्जेंस पद में विभाजित हो जाता है जो सीखे गए लेटेंट स्पेस को एक सरल, अच्छे व्यवहार वाले प्रायर के क़रीब रखता है।

वह KL पद ही है जो लेटेंट स्पेस को वास्तव में उपयोगी बनाता है: यह समान चीज़ों को एक-दूसरे के क़रीब रखता है और मॉडल को केवल अलग-थलग बिंदुओं को याद करने से रोकता है, यही कारण है कि VAE लेटेंट स्पेस दो बहुत अलग इनपुट के बीच सहज इंटरपोलेशन का समर्थन करते हैं, जो इस विधि के सबसे उपयोगी गुणों में से एक है।

डिफ्यूज़न मॉडल: नियंत्रित उलटफेर के रूप में जनरेशन

एक डिफ्यूज़न मॉडल तीसरा, बहुत अलग रास्ता अपनाता है। फॉरवर्ड प्रक्रिया स्थिर है और इसे बिल्कुल भी ट्रेनिंग की ज़रूरत नहीं: एक वास्तविक इमेज लें और उसमें थोड़ी मात्रा में गॉसियन शोर जोड़ें, कई बार, जब तक कुछ भी पहचानने योग्य न बचे। जो चीज़ वास्तव में सीखी जाती है वह है उलट प्रक्रिया — एक नेटवर्क जो हर चरण पर यह अनुमान लगाने के लिए प्रशिक्षित होता है कि अभी-अभी कौन सा शोर जोड़ा गया था, ताकि उसे वापस घटाया जा सके। शुद्ध बेतरतीब शोर से शुरू करके उस सीखी गई उलट प्रक्रिया को चलाएं, और आप एक बिल्कुल नया सैंपल जनरेट कर लेते हैं।

यह सीधे स्टोकास्टिक कैलकुलस से जुड़ता है: फॉरवर्ड नॉइज़िंग प्रक्रिया एक स्टोकास्टिक डिफरेंशियल इक्वेशन है, और नेटवर्क प्रभावी रूप से उस समीकरण के रिवर्स-टाइम संस्करण को चलाने के लिए ज़रूरी स्कोर फ़ंक्शन सीख रहा होता है। यह GAN के प्रतिस्पर्धी खेल की तुलना में एक कहीं अधिक स्थिर ट्रेनिंग लक्ष्य है — कोई दो नेटवर्क आपस में नहीं लड़ रहे, सिर्फ़ एक नेटवर्क शोर का अनुमान लगाना सीख रहा है — जो मुख्य कारण है कि डिफ्यूज़न मॉडल इमेज जनरेशन के लिए प्रमुख तरीक़ा बन गए।

तीनों में याद रखने लायक पैटर्न: एक GAN वितरण को सीधे मॉडल करने से बचता है और इसके बजाय एक प्रतियोगिता का उपयोग करता है; एक VAE इसे ईमानदारी से मॉडल करता है लेकिन उसे एक असंभव-सी गणना वाले चरण का अनुमान लगाना पड़ता है; एक डिफ्यूज़न मॉडल जनरेशन को एक कठिन अनुमान के बजाय कई छोटे, आसान डीनॉइज़िंग अनुमानों में बदल देता है।

जो अभी भी वास्तव में अनसुलझा है

इस क्षेत्र में तीन सवालों के अभी तक तय जवाब नहीं हैं, यहां तक कि शोध स्तर पर भी। मूल्यांकन दिखने से ज़्यादा कठिन है — कोई एक संख्या विश्वसनीय रूप से यह नहीं बताती कि कोई जनरेट किया गया सैंपल वास्तव में अच्छा है या नहीं; FID जैसे मानक मेट्रिक्स सीखे गए फ़ीचर प्रतिनिधित्व के आंकड़ों की तुलना करते हैं, वास्तविक मानवीय निर्णय की नहीं, और इन्हें बरगलाया जा सकना जाना-माना है। नियंत्रणीयता — किसी प्रॉम्प्ट या कंडीशनिंग सिग्नल के ज़रिए यह विश्वसनीय रूप से तय करना कि मॉडल क्या जनरेट करता है, बजाय इसे व्यापक रूप से प्रभावित करने के — एक हल हो चुकी इंजीनियरिंग समस्या के बजाय एक सक्रिय शोध क्षेत्र बना हुआ है। और सबसे गहरा खुला सवाल सैद्धांतिक सीमाओं के बारे में है: क्या ये मॉडल अपने ट्रेनिंग वितरण से आगे वास्तविक सामान्यीकरण करने में सक्षम हैं, या जो नवीनता जैसा दिखता है वह उसी के भीतर परिष्कृत इंटरपोलेशन है — यह मॉडलों की मूलभूत क्षमताओं के बारे में सवाल है, केवल उनके वर्तमान क्रियान्वयन के बारे में नहीं।

इनमें से कोई भी इस क्षेत्र को अकठोर मानने का कारण नहीं है — बल्कि इसके ठीक उलट। यह ठीक-ठीक जानना कि खुले सवाल कहां हैं, वही है जो जेनेरेटिव AI की वास्तविक समझ को औज़ारों को बिना यह जाने इस्तेमाल करने की क्षमता से अलग करता है कि वे कैसे काम करते हैं। यदि AI की गणितीय नींव का पोस्टग्रेजुएट अध्ययन आपकी या आपके छात्र की मंज़िल है, तो हम बिल्कुल उसी गहराई पर पढ़ाते हैं — हमारी पोस्टग्रेजुएट AI ट्यूशन देखें या यहां पूरा सीखने का मार्ग।