Kort fortalt

  • Generering skal bevare den opprinnelige typen til inndata.
  • En retting gjelder nullgradienter ved ekspertparallell bfloat16-trening.
  • 5.20.2 er en ordinær feilrettingsutgave, ikke en ny modell.

Bevarer typen til inndata

Hugging Face publiserte Transformers 5.20.2 den 19. oktober. Feilrettingsutgaven løser ifølge notatet et problem der enkelte inndata mistet sin opprinnelige type inne i prepare_inputs_for_generation under generate. Problemet kunne påvirke multimodale modeller.

Utgaven retter også oppgitte inndatamodaliteter for syns- og språkmodeller som tidligere rapporterte bare tekst. Dette endrer hvordan biblioteket håndterer og oppgir inndata, og er ikke en kunngjøring av en ny modell.

Retter distribuert trening

En annen retting gjelder ekspertgradienter som ble null ved bfloat16 og ekspertparallell kjøring når ep_size var mindre enn fsdp_size. De eksakte variabelnavnene angir betingelsen i utviklernes endringsliste.

Notatet fører dessuten opp at eager_mask unngår en kopiering fra vertsmaskin til enhet. Det oppgis ingen generell målt hastighetsgevinst for denne endringen. GitHub merker 5.20.2 som en ordinær utgave, ikke en forhåndsutgave. KIavisa har ikke kjørt regresjons- eller treningstester.

Kilder og åpenhet

Sammendraget bygger på opplysninger fra Hugging Face / GitHub, publisert 19. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos Hugging Face / GitHub

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.