Kort fortalt

  • OpenAI publiserte resultater fra to egne kodeevalueringer 19. oktober 2026.
  • MultiLangBench måler beståtte tester i en databaseoppgave; COBOL-evalueringen krever at alle skjulte tester består.
  • Selskapets resultater er ikke gjentatt av KIavisa; OpenAI sier produksjonsbruk fortsatt krever faglig kontroll og testing.

To forskjellige kodeoppgaver

OpenAI publiserte 19. oktober 2026 resultater fra to evalueringer selskapet selv har utviklet. Publikasjonen oppgir kalenderdato, ikke et dokumentert publiseringstidspunkt. Arbeidet omfatter blant annet COBOL, Fortran og Visual Basic, som OpenAI beskriver som språk med mindre tilgjengelig kode og dokumentasjon for modelltrening enn Python og JavaScript.

I MultiLangBench skal modellen bygge en database som er kompatibel med SQLite, i ett av 20 programmeringsspråk. Programmet får en database og en SQL-spørring. Resultatet kontrolleres med SQLite-koden som brukes som referanse. Testene er tilpasset fra SQLites eksisterende testsamling.

Oppgir høyere andel beståtte tester

På MultiLangBench oppgir OpenAI at GPT-6 Astra ved maksimal resonneringsinnsats besto gjennomsnittlig 87,4 prosent av testene på tvers av de 20 språkene, mot 26,8 prosent for GPT-5.6 Sol. Dette er en andel beståtte tester i den beskrevne databaseoppgaven, ikke andelen komplette programmer som er feilfrie.

Den andre evalueringen gjelder migrering av COBOL-programmer til C++, Java, Kotlin, Python eller Rust. En migrering regnes som vellykket bare hvis alle de skjulte testene består, med nøyaktig samme byteverdier i observerbare utdata. Her oppgir selskapet 86,6 prosent vellykkede migreringer for GPT-6.1 Sol ved lav resonneringsinnsats, mot 5,4 prosent for GPT-5.6 Sol ved samme innstilling. Ved høyere resonneringsinnsats oppgir OpenAI 97,9 prosent.

Selskapstester, ikke dokumentert produksjonsdrift

Tallene er rapportert av OpenAI i selskapets egne evalueringer. KIavisa har ikke kjørt modellene eller gjentatt testene, og denne kilden er ikke en uavhengig bekreftelse av resultatene. De to evalueringene bruker forskjellige mål: andel beståtte tester og andel migreringer som består samtlige tester.

OpenAI opplyser at oppsettet og testsamlingen for MultiLangBench gjøres tilgjengelig på GitHub. Selskapet understreker samtidig at bruk ved omskriving av produksjonsprogramvare fortsatt krever faglig gjennomgang og testing mot systemets forretningsregler og avhengigheter. Publikasjonen er en rapport om evalueringer, ikke i seg selv dokumentasjon på en ny modellutgivelse.

Originalsiden var sperret ved denne kontrollen. Teksten er kontrollert mot en arkivkopi fra 19. oktober 2026, som er lenket som tilleggskilde.

Flere kilder

Kilder og åpenhet

Sammendraget bygger på opplysninger fra OpenAI, publisert 19. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos OpenAI

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.