OpenAI: AI-sikkerhed kræver samfundsvidenskabelige forskere
OpenAI har udgivet et nyt paper, der argumenterer for, at langsigtet forskning i AI-sikkerhed har brug for samfundsvidenskabelige forskere for at sikre, at AI-systemer kan tilpasses menneskelige værdier, når rigtige mennesker er involveret.
Målet med langsigtet AI-sikkerhed er at sikre, at avancerede AI-systemer er i overensstemmelse med menneskelige værdier – at de pålideligt gør de ting, som mennesker ønsker, de skal gøre. OpenAI håber at opnå dette ved at stille mennesker spørgsmål om, hvad de ønsker, træne maskinlæringsmodeller på disse data og optimere AI-systemer til at præstere godt i henhold til disse lærte modeller.
Menneskelige svar er upålidelige
Problemet er imidlertid, at menneskelige svar på spørgsmål om deres værdier kan være upålidelige. Mennesker har begrænset viden og ræsonnementevne og udviser en række kognitive bias og etiske overbevisninger, som viser sig at være inkonsistente ved nærmere eftertanke.
OpenAI forventer, at forskellige måder at stille spørgsmål på vil interagere med menneskelige bias på forskellige måder og producere svar af højere eller lavere kvalitet. For eksempel kan vurderinger af, hvor forkert en handling er, variere afhængigt af, om ordet “moralsk” optræder i spørgsmålet.
Eksperimenter kun med mennesker
For at undgå begrænsningerne ved maskinlæring foreslår OpenAI eksperimenter, der udelukkende består af mennesker, hvor ML-agenter erstattes af mennesker, der spiller disse agenters rolle. For eksempel involverer debat-tilgangen til AI-tilpasning et spil med to AI-debattører og en menneskelig dommer – i stedet kan man bruge to menneskelige debattører og en menneskelig dommer.
Disse eksperimenter vil være motiveret af maskinlæringsalgoritmer, men vil ikke involvere nogen ML-systemer eller kræve en ML-baggrund. De vil kræve omhyggelig eksperimentelt design for konstruktivt at bygge på eksisterende viden om, hvordan mennesker tænker.
OpenAI ansætter samfundsforskere
For at udfylde hullet har OpenAI brug for samfundsvidenskabelige forskere med erfaring i menneskelig kognition, adfærd og etik samt i omhyggelig design af stringente eksperimenter. Virksomheden mener, at mange samfundsvidenskabelige felter er anvendelige, herunder eksperimentel psykologi, kognitiv videnskab, økonomi, statskundskab og socialpsykologi samt tilstødende felter som neurovidenskab og jura.
OpenAI er i gang med at starte denne forskning og ansætter nu fuldtids samfundsvidenskabelige forskere til at drive disse eksperimenter fremad. Virksomheden understreger, at tæt samarbejde mellem samfundsforskere og maskinlæringsforskere vil være nødvendigt for at forbedre forståelsen af den menneskelige side af AI-tilpasning.
