OpenAI afslører matematisk forbindelse mellem tre centrale AI-teknologier
En ny forskningspublikation fra OpenAI viser, at der er en overraskende dyb sammenhæng mellem tre tilsyneladende forskellige maskinlæringsmetoder: generative adversarial networks (GANs), inverse reinforcement learning (IRL) og energibaserede modeller.
Forskere fra OpenAI har offentliggjort et paper, der demonstrerer en hidtil ukendt matematisk ækvivalens mellem forskellige AI-teknologier, som traditionelt har været anvendt i separate forskningsområder.
Generative adversarial networks, eller GANs, er en relativt ny klasse af generative modeller, hvor en generator trænes til at optimere en kostfunktion, der samtidig læres af en diskriminator. Mens idéen om at lære kostfunktioner er forholdsvis ny inden for generativ modellering, har man længe studeret lignende koncepter inden for kontrol- og reinforcement learning-domæner.
Matematisk ækvivalens afsløret
Det centrale fund i forskningen er, at visse IRL-metoder faktisk er matematisk ækvivalente med GANs. Forskerne demonstrerer specifikt en ækvivalens mellem en sample-baseret algoritme til maximum entropy IRL og en GAN, hvor generatorens densitet kan evalueres og gives som et ekstra input til diskriminatoren.
Interessant nok viser det sig, at maximum entropy IRL er et specialtilfælde af en energibaseret model. Dette åbner op for en ny fortolkning af GANs som en algoritme til træning af energibaserede modeller.
Betydning for fremtidig forskning
Ved formelt at fremhæve forbindelsen mellem GANs, IRL og energibaserede modeller håber forskerne, at eksperter fra alle tre forskningsområder bedre kan identificere og anvende overførbare idéer på tværs af domænerne.
Dette er særligt relevant for udviklingen af mere stabile og skalerbare algoritmer – en stor udfordring inden for alle tre områder. Forskningspaperet er skrevet af Chelsea Finn, Paul Christiano, Pieter Abbeel og Sergey Levine fra OpenAI.
Opdagelsen kan potentielt føre til betydelige fremskridt i udviklingen af kunstig intelligens ved at bygge bro mellem forskningsområder, der tidligere har arbejdet isoleret fra hinanden.
