OpenAI præsenterer gennembrud i forståelsen af neurale netværk

OpenAI har offentliggjort ny forskning, der kan revolutionere vores forståelse af, hvordan AI-systemer tænker og træffer beslutninger. Forskerne har udviklet en metode til at træne neurale netværk, der er væsentligt lettere at forstå og analysere.

Problemet med “sorte bokse”

Nutidens mest avancerede AI-systemer fungerer som komplekse “sorte bokse”. De lærer ved at justere milliarder af interne forbindelser, men ingen kan præcist forklare, hvorfor de træffer bestemte beslutninger. Dette er et voksende problem, efterhånden som AI får større indflydelse på vigtige områder som sundhed, uddannelse og videnskab.

Den nye tilgang: Sparsomme kredsløb

I stedet for at forsøge at forstå eksisterende tætte, indviklede netværk har OpenAI valgt en radikal ny tilgang: De træner AI-modeller, der fra starten er designet til at være lettere at forstå.

Den nye metode tvinger modellerne til at bruge langt færre forbindelser mellem neuronerne. Hvor hver neuron i traditionelle netværk er forbundet til tusindvis af andre neuroner, har neuronerne i de nye sparsomme modeller kun nogle få dusin forbindelser.

Resultatet er AI-systemer, hvor individuelle neuroner udfører færre, mere specifikke funktioner – hvilket gør dem lettere at analysere og forstå.

Konkrete resultater

Forskerne testede deres tilgang på simple algoritmiske opgaver. Et eksempel er en model trænet på Python-kode, der skulle forudsige den korrekte type citationstegn. Modellen lærte at huske, hvilket citationstegn der åbnede en streng, og reproducere det ved afslutningen – præcis som en programmør ville gøre det.

Ved at analysere de sparsomme modeller kunne forskerne identificere de eksakte “kredsløb” – små grupper af neuroner og forbindelser – der var ansvarlige for specifikke funktioner. Disse kredsløb var både nødvendige og tilstrækkelige til at udføre opgaverne.

Vejen frem

Forskerne understreger, at dette kun er et første skridt. De nuværende sparsomme modeller er meget mindre end OpenAIs mest avancerede systemer, og store dele af deres beregninger forbliver uforklarede.

Næste skridt er at skalere teknikkerne til større modeller og forklare mere af deres adfærd. OpenAI ser to mulige veje fremad: Enten at udvinde sparsomme kredsløb fra eksisterende tætte modeller, eller at udvikle mere effektive metoder til at træne fortolkelige modeller fra bunden.

Hvorfor det er vigtigt

Bedre forståelse af AI-systemer er afgørende for sikkerhed og tillid. Fortolkelighed kan hjælpe med at opdage uønsket adfærd tidligt, forbedre overvågning af AI-systemer og supplere andre sikkerhedsforanstaltninger.

Selvom der ingen garanti er for, at tilgangen vil fungere for meget større og mere komplekse systemer, viser de tidlige resultater lovende tegn på, at det kan være muligt at bygge kraftfulde AI-systemer, hvis indre funktioner vi faktisk kan forstå.