OpenAI præsenterer ny metode til at lære AI-agenter flere adfærdsmønstre
OpenAI har offentliggjort en ny forskningsartikel om variationelle algoritmer til option discovery, der kan hjælpe kunstig intelligens med at lære flere forskellige adfærdsmønstre på samme tid.
Forskerne bag artiklen, herunder Joshua Achiam, Harri Edwards, Dario Amodei og Pieter Abbeel, præsenterer to centrale algoritmiske bidrag til feltet.
Ny metode: VALOR
Det første bidrag er udviklingen af VALOR (Variational Autoencoding Learning of Options by Reinforcement), en ny metode der bygger på en tæt forbindelse mellem variationelle option discovery-metoder og variationelle autoencoders.
I VALOR fungerer AI-agentens politik som en encoder, der omsætter kontekster fra en støjfordeling til handlingsforløb. En decoder genskaber derefter konteksterne ud fra de komplette handlingsforløb.
Curriculum learning stabiliserer træningen
Det andet bidrag er en curriculum learning-tilgang, hvor antallet af kontekster, som agenten ser, gradvist øges i takt med, at agentens præstation bliver tilstrækkeligt stærk. Denne simple teknik viser sig at stabilisere træningen markant.
Forskerne demonstrerer, at metoden både fungerer for VALOR og tidligere variationelle option discovery-metoder, og at den gør det muligt for en enkelt agent at lære langt flere adfærdsmønstre, end det ville være muligt med en fast kontekstfordeling.
Grundlæggende begrænsninger undersøgt
Forskningsartiklen undersøger også andre emner relateret til variationel option discovery, herunder fundamentale begrænsninger ved den generelle tilgang samt anvendeligheden af de lærte options i efterfølgende opgaver.
Artiklen er publiceret den 26. juli 2018 og er tilgængelig på OpenAI’s hjemmeside.
