Kort fortalt

  • DeepInfer-koden er åpnet under Apache License 2.0.
  • Dokumentasjonen oppgir støtte for DeepSeek-V4.1-Flash på NVIDIA SM100 og Huawei Ascend 950.
  • Deler av mellomlageret, tjenesteoppdelingen og lastbalanseringen følger ikke med den åpne utgaven.

Kode for å kjøre DeepSeek-modellen

DeepSeek kunngjorde 20. oktober at selskapet åpner DeepInfer, rammeverket det bruker til å kjøre DeepSeek-V4.1-Flash i stor skala. Inferens er kjøringen der en ferdigtrent modell behandler en forespørsel og lager et svar. Dette er en programvareutgivelse, ikke en ny språkmodell.

Prosjektdokumentasjonen oppgir støtte for NVIDIA SM100-grafikkprosessorer og Huawei Ascend 950-akseleratorer. Koden er publisert under Apache License 2.0.

Ikke en komplett nettjeneste

Den åpne utgaven tilbyr kjøring uten en ferdig oppsatt nettjeneste, omtalt som offline inferens i dokumentasjonen. Den omfatter blant annet fordeling av beregninger, spekulativ dekoding og strukturerte svar. Spekulativ dekoding lager forslag til flere tekstbiter som modellen deretter kontrollerer. Strukturerte svar kan begrenses til et bestemt JSON-skjema eller annet angitt format.

DeepSeek lister samtidig tre deler som kreves for en komplett tjeneste, men som ikke følger med utgivelsen: et system for mellomlagrede modellberegninger, oppdeling av tjenesten mellom beregningstrinn og lastbalansering mellom parallelle instanser. I spørsmål-og-svar-dokumentet forklarer selskapet at mellomlager og lastbalansering er tett knyttet til den interne infrastrukturen og ennå ikke er fullt åpnet.

Selskapets egne ytelsesmålinger

DeepSeek opplyser at rammeverket brukes i selskapets produksjonstjeneste. Repositoriet inneholder også egne ytelsesmålinger, kjørt med fire SM100-prosessorer for behandling av inndata og 64 for generering av svar. KIavisa har ikke kjørt rammeverket eller gjentatt målingene; disse dokumenterer selskapets oppgitte resultater, ikke en uavhengig test.

Flere kilder

Kilder og åpenhet

Sammendraget bygger på opplysninger fra DeepSeek, publisert 20. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos DeepSeek

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.