OpenAI introducerer Structured Outputs: 100% pålidelige JSON-svar fra AI-modeller
OpenAI har lanceret en ny funktion kaldet Structured Outputs i deres API, som sikrer, at AI-modellernes output nøjagtigt følger udvikleres JSON-skemaer. Funktionen løser et af de største problemer for udviklere, der bygger AI-applikationer: upålidelige dataformater.
Perfekt præcision i komplekse opgaver
Den nye model, gpt-4o-2024-08-06, opnår en score på 100% i OpenAI’s evalueringer af kompleks JSON-skemafølgning. Til sammenligning scorer den tidligere gpt-4-0613 model under 40%. Dette markerer et betydeligt spring i pålidelighed for struktureret datagenering.
“At generere strukturerede data fra ustrukturerede input er en af kernefunktionerne for AI i nutidens applikationer,” forklarer OpenAI i deres meddelelse. Tidligere har udviklere været nødt til at arbejde uden om AI-modellernes begrænsninger gennem open source-værktøjer, prompting og gentagne forsøg.
To måder at bruge funktionen
Structured Outputs er tilgængelig på to måder:
Function calling: Ved at sætte strict: true i funktionsdefinitionen kan udviklere sikre, at modeloutput matcher det leverede værktøjsskema. Dette virker med alle modeller fra gpt-4-0613 og gpt-3.5-turbo-0613 og senere.
Response format: Udviklere kan nu levere et JSON-skema via den nye json_schema parameter. Dette fungerer med de nyeste GPT-4o modeller og er nyttigt, når modellen skal svare brugeren på en struktureret måde uden at kalde et værktøj.
Sikkerhed først
Funktionen respekterer OpenAI’s eksisterende sikkerhedspolitikker. Modellen kan stadig afvise usikre forespørgsler, hvilket indikeres gennem en ny refusal streng-værdi i API-svarene. Dette gør det nemt for udviklere at opdage programmatisk, om modellen har genereret et afslag.
Praktiske anvendelsesmuligheder
Structured Outputs kan bruges til en række opgaver:
- Dynamisk UI-generering: Skabe brugergrænseflader baseret på brugerintentioner
- Dataudtrækning: Ekstrahere strukturerede data som to-do-lister, deadlines og ansvarlige personer fra mødenotater
- Adskillelse af svar og ræsonnement: Give modellen separate felter til tankekæder for at forbedre svarkvaliteten
Teknologien bag
OpenAI anvender en teknik kaldet “constrained decoding”, som konverterer JSON-skemaer til kontekstfrie grammatikker (CFG). Dette tillader systemet dynamisk at bestemme, hvilke tokens der er gyldige efter hver genereret token, hvilket sikrer 100% overholdelse af skemaet.
Tilgangen adskiller sig fra alternative metoder baseret på finite state machines (FSM), da CFG’er kan udtrykke et bredere spektrum af sprog, herunder rekursive datastrukturer.
Priser og tilgængelighed
Funktionen er generelt tilgængelig fra i dag. Ved at skifte til den nye gpt-4o-2024-08-06 model sparer udviklere 50% på input (2,50 USD per 1M tokens) og 33% på output (10 USD per 1M tokens) sammenlignet med gpt-4o-2024-05-13.
Structured Outputs er kompatibel med Chat Completions API, Assistants API og Batch API, og understøtter også vision-input.
