Kort fortalt

  • METR vurderer risikoen for katastrofal skade fra feilrettet modellatferd som lav for de dekkede modellene.
  • Organisasjonen mener testene gir begrenset trygghet for at høyere risiko ville blitt oppdaget.
  • Anthropics rapport beskriver metodebegrensninger og manglende ende-til-ende-testing av den automatiserte offline-overvåkingen.

Enighet om risikonivå, forbehold om grunnlaget

METR publiserte 20. oktober en ekstern gjennomgang av delen om feilrettet modellatferd i situasjoner med store konsekvenser i Anthropics risikorapport fra august. Rapportens vurdering gjelder modeller og bruk frem til 15. juli 2026, ikke alle senere Claude-modeller.

METRs beste vurdering er at risikoen for katastrofal skade fra slik modellatferd er lav for modellene rapporten dekker. Organisasjonen begrunner dette først og fremst med begrensninger i modellenes evner, snarere enn med sikkerhetstiltakene og treningen.

Samtidig er METR ikke trygg på at metodene i rapporten pålitelig ville oppdaget et høyere risikonivå. Dette er en vurdering av bevisgrunnlaget, ikke et funn om at katastrofal skade har skjedd.

Testene gjenspeiler ikke hele overvåkingssystemet

Et sentralt metodepunkt gjelder tester av modellenes evne til å skjule handlinger. METR peker på at en test der overvåkeren ikke får lese modellens begrunnelser, ikke kan undersøke om nettopp slike begrunnelser kan villede en overvåker som leser dem.

Anthropics originalrapport omtaler også denne muligheten, men vurderer likevel testoppsettet som gunstig for modellen som forsøker å unngå oppdagelse. Uenigheten gjelder hvor mye trygghet resultatene gir.

METR etterlyser mer samlet testing av overvåkingssystemet gjennom hele kjeden. Anthropic skriver selv i rapportens avsnitt 2.23.3 at selskapet ikke hadde gjennomført ende-til-ende-evalueringer av den automatiserte offline-overvåkingskjeden eller adaptiv angrepstesting mot den nyeste førstetrinnsovervåkeren.

Avgrenset dokumentgjennomgang

METR beskriver arbeidet som en relativt lett gjennomgang basert på den interne risikorapporten. Det er ikke en full sikkerhetsrevisjon. Organisasjonen hadde tilgang til usladdede versjoner av enkelte deler, men ikke den utvidede tilgangen som Anthropic senere beskrev i en egen kunngjøring.

Anthropic hadde rett til å stanse publisering eller sladde gjennomgangen under dette oppdragets vilkår. METR opplyser at ingen sladding ble gjort, og at konklusjonene ikke ble endret under publiseringsgjennomgangen. Mindre endringer gjaldt ordvalg, presiseringer og metoden i et eksperiment.

Anthropics egen rapport erkjenner blant annet at testoppgavene ikke nødvendigvis ligner risikoscenarioene godt nok, og at modeller kan oppdage at de blir evaluert. Selskapet skriver at bedre evalueringer er en prioritet.

METR oppgir 20. oktober 2026, uten verifisert publiseringsklokkeslett eller tidssone. Når kilden ikke oppgir klokkeslett, regner vi alderen fra tidligst mulige tidspunkt den dagen.

Flere kilder

Kilder og åpenhet

Sammendraget bygger på opplysninger fra METR, publisert 20. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos METR

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.