OpenAI advarer om ny sikkerhedstrussel: Sådan fungerer “prompt injection”-angreb

Kunstig intelligens bliver i stigende grad i stand til at udføre komplekse opgaver som at browse internettet, planlægge rejser og foretage køb på vegne af brugere. Men med de nye muligheder følger også nye sikkerhedsudfordringer. OpenAI advarer nu om en særlig type angreb kaldet “prompt injection”, som kan narre AI-systemer til at handle imod brugerens hensigter.

Hvad er prompt injection?

Prompt injection er en form for social engineering-angreb, der er specifikt rettet mod samtalebaseret AI. Ligesom phishing-mails forsøger at narre mennesker til at udlevere følsomme oplysninger, forsøger prompt injection at manipulere AI-systemer til at udføre handlinger, som brugeren ikke har bedt om.

Forestil dig, at du beder en AI om at hjælpe med at researche ferieboliger online. Mens AI’en udfører opgaven, kan den støde på skjulte instruktioner i en kommentar eller anmeldelse på en hjemmeside. Dette indhold kan være omhyggeligt udformet til at narre AI’en til at anbefale den forkerte bolig eller i værste fald stjæle dine kreditkortoplysninger.

Risikoen stiger i takt med, at AI-systemer får adgang til mere følsomme data og påtager sig mere initiativ og længerevarende opgaver.

OpenAIs forsvar mod angrebene

OpenAI arbejder på flere fronter for at beskytte brugerne:

Sikkerhedstræning: Virksomheden udvikler teknologi, der skal lære AI-modeller at genkende og ignorere prompt injection-mønstre. Dette inkluderer automatiseret “red-teaming”, hvor systemet angribes for at identificere sårbarheder.

Overvågning: OpenAI har udviklet automatiserede AI-drevne overvågningssystemer, der kan identificere og blokere prompt injection-angreb i realtid.

Sikkerhedsfunktioner: Produkterne er designet med indbyggede beskyttelsesmekanismer. For eksempel skal brugere godkende visse links i ChatGPT, før de kan besøges, og når AI’en bruger værktøjer til at køre programmer, anvendes “sandboxing” for at forhindre skadelige ændringer.

Brugerkontrol: ChatGPT Atlas tilbyder funktioner som “logged-out mode” og “Watch Mode”, der giver brugerne større kontrol over, hvad AI’en kan tilgå og gøre.

Sådan beskytter du dig selv

OpenAI anbefaler brugerne at:

• Begrænse AI’ens adgang til kun de data, der er nødvendige for opgaven
• Gennemgå omhyggeligt, når AI’en beder om bekræftelse før vigtige handlinger
• Give specifikke instruktioner frem for brede kommandoer som “gennemgå mine e-mails og gør hvad der er nødvendigt”
• Holde sig opdateret om nye sikkerhedspraksisser

Selvom OpenAI endnu ikke har set udbredt brug af prompt injection-angreb fra ondsindede aktører, forventer virksomheden, at angribere vil investere betydelige ressourcer i at udvikle sådanne teknikker.

Prompt injection forbliver et komplekst forskningsproblem, og ligesom traditionelle svindelnumre på internettet forventer OpenAI, at arbejdet med at bekæmpe dem vil være en løbende proces.