OpenAI udvikler ny metode til at overføre simulerede robotbevægelser til virkeligheden
Kunstig intelligens-pioneren OpenAI har præsenteret en ny tilgang til at få robotter til at udføre opgaver i den virkelige verden baseret på træning i computersimulationer.
At udvikle kontrolsystemer til robotter i simulerede miljøer er ofte både mere praktisk og sikrere end at eksperimentere direkte med fysiske robotter. Dette gælder især for systemer baseret på reinforcement learning, som kræver enorme mængder data for at lære.
Men der er et velkendt problem: En robot, der fungerer perfekt i en simulation, fejler ofte, når den skal udføre de samme opgaver i virkeligheden. Forskelle i friktion, kontaktpunkter, masse og geometri mellem den simulerede og den virkelige verden skaber udfordringer.
Dyb læring som bro mellem simulation og virkelighed
OpenAI’s nye tilgang løser dette ved at bruge en såkaldt “deep inverse dynamics model” – en dyb neural netværksmodel, der lærer sammenhængen mellem ønskede bevægelser og de nødvendige kontrolsignaler i den virkelige verden.
I stedet for blot at kopiere kontrolsignalerne fra simulationen, fungerer systemet på en mere intelligent måde: For hvert tidspunkt beregner det, hvad robotten ville gøre i simulationen og hvilke tilstande dette ville føre til. Derefter bruger den lærte model til at finde ud af, hvilke virkelige kontrolsignaler der bedst vil opnå disse tilstande på den fysiske robot.
Lovende resultater
Forskerteamet, der inkluderer blandt andre Paul Christiano, Igor Mordatch og Pieter Abbeel, rapporterer at metoden klarer sig bedre end flere eksisterende løsninger på problemet med at overføre simulerede modeller til virkeligheden.
Tilgangen kræver dog indsamling af træningsdata til at lære den inverse dynamikmodel, og forskerne har også udviklet en metode til gradvist at indsamle disse data.
Arbejdet er endnu et skridt i OpenAI’s omfattende robotforskning, som senere har ført til milepæle som robothånden, der kan løse Rubiks terning.
