OpenAI waarschuwt voor verouderde instructies bij GPT-6 Astra

OpenAI meldt dat verouderde prompts en vaardigheidsbeschrijvingen de prestaties van het model GPT-6 Astra kunnen verlagen. Het bedrijf adviseert ontwikkelaars om hun aansturing aan te passen aan de nieuwe mogelijkheden van dit model.

Eric Provencher van OpenAI legt uit dat aanwijzingen die over een langere periode zijn opgebouwd, onnodig contextruimte in beslag kunnen nemen. Deze overbodige informatie kan ertoe leiden dat het model zijn werk vroegtijdig stopt. Provencher beveelt aan om vaardigheden, documenten en taakprompts grondig te controleren wanneer er van model wordt gewisseld. Nieuwere modellen hebben minder gedetailleerde instructies nodig dan oudere versies.

Vaardigheden bestaan uit prompts in markdown-bestanden die bronnen en scripts bevatten. De naam en de beschrijving van deze vaardigheden worden in de context van het model geplaatst zodat het systeem de juiste vaardigheid kan kiezen. Wanneer er te veel vaardigheden aanwezig zijn, verkort het systeem de beschrijvingen. Hierdoor ontbreken soms belangrijke informatie voor de selectie. Te brede beschrijvingen kunnen ervoor zorgen dat onnodige aanwijzingen worden geladen. Provencher raadt aan om korte en precieze beschrijvingen te gebruiken. Een vaardigheid voor databasemigraties moet bijvoorbeeld alleen worden ingezet bij het aanmaken of wijzigen van een migratie, niet bij elke taak met betrekking tot databases of datamodellen.

Wanneer een vaardigheid meerdere werkprocessen omvat, moet het hoofddocument kort verwijzen naar aanvullende documenten en scripts. Het model leest dan alleen wat het op dat moment nodig heeft. Elke extra lezing verbruikt contextruimte en brengt de verdichting van de context dichterbij. Complexe stapsgewijze procedures kunnen nieuwere modellen ook hinderen omdat deze beter omgaan met nuances en meerduidigheid. Vaardigheden die door meerdere betrokkenen worden gedeeld, kunnen voor het nieuwe model te beperkend zijn, terwijl ze voor oudere modellen nog nuttig waren.

Regels in projectdocumenten moeten regelmatig worden gecontroleerd. Het verplichten van het lezen van meerdere documenten of een volledige projectoverzicht vóór elke wijziging is overbodig voor eenvoudige taken zoals het corrigeren van typefouten. Het model kan zelf bepalen welke informatie het nodig heeft. Ontwikkelaars moeten gericht verwijzen naar architectuurinformatie bij dienstgrenzen, naar databasedocumentatie bij schema-wijzigingen en naar implementatie-instructies bij een implementatie. Deze documenten moeten actueel blijven.

Specifieke toestemmingen kunnen herhaalde vragen voorkomen bij veilige processen. Voor lokale tests met wegwerpbare testdata en zonder toegang tot productieomgevingen kan het projectdocument expliciet toestaan om tests uit te voeren, fouten te verhelpen en tests te herhalen zonder nieuwe toestemming. Ontwikkelaars die strenge vraagplichten hebben ingesteld na ongewenste handelingen van oudere modellen, moeten deze bij de overgang naar Astra heroverwegen. Het nieuwe model heeft een beter oordeelsvermogen, maar kan oude verboden zo streng interpreteren dat het stopt ondanks een gewenste voortzetting. Bekende en veilige werkprocessen moeten daarom expliciet worden toegestaan.

Ook zonder dergelijke verboden kan het model vroeger stoppen dan de vorige versie. Gebruikers moeten vooraf vaststellen wat tot de voltooiing behoort. Als de agent een implementatie moet uitvoeren, resultaten moet controleren en fouten moet verhelpen, moet dit in de opdracht staan. Een verplichting om na de eerste implementatie te overleggen, zorgt voor een vroeger stoppunt. OpenAI publiceerde onlangs uitgebreide tips voor het aansturen van dit model, waaraan deze aanbevelingen voor vaardigheden en projectinstructies aansluiten.