bk99.de entertain the web since 1997

bk99.de
HF · InferenzKuratiert

Sehr große Modelle mit Accelerate laden

Zusammenfassung

Accelerate verteilt Modellteile über GPU, CPU und Datenträger, statt zuerst das gesamte Modell im Arbeitsspeicher aufzubauen. Leere Initialisierung und automatische Gerätekarten vermeiden unnötige Spitzen. init_empty_weights erzeugt die Modellstruktur zunächst ohne Parameterdaten.

Ideen

  • Speicherspitzen beim Laden können größer sein als der spätere Inferenzbedarf.
  • Hierarchisches Offloading tauscht Kapazität gegen Übertragungszeit und Komplexität.

Fakten

  • init_empty_weights erzeugt die Modellstruktur zunächst ohne Parameterdaten.
  • device_map kann Schichten auf GPU, CPU und Datenträger verteilen.

Kritik

  • Ein Modell, das technisch lädt, kann durch Offloading für interaktive Nutzung zu langsam werden.

Empfehlungen

  • Plane Speicherbudget und Transferpfade pro Schicht und messe die resultierende Tokenlatenz.

Referenzen

Originalbeitrag auf Hugging Face lesen →

Im Webarchiv suchen

HF · 2024

Dreißig LoRA-Modelle mit einem Server bedienen

Text Generation Inference lädt viele LoRA-Adapter über einem gemeinsamen Basismodell und bedient sie gemeinsam. Das vermeidet vollständige Modellkopien und verbessert die Auslastung.

HF · 2026

Asynchronität im Continuous Batching

Der Beitrag erweitert Continuous Batching um asynchrone Vorbereitung und Ausgabe, damit CPU-Arbeit den GPU-Scheduler weniger blockiert. Überlappte Pipelinephasen erhöhen die Auslastung bei vielen gleichzeitigen Anfragen.

HF · 2025

Continuous Batching von Grund auf erklärt

Der Beitrag baut einen Scheduler, der neue Anfragen zwischen einzelnen Decoding-Schritten in laufende Stapel aufnimmt. So bleiben Beschleuniger trotz unterschiedlich langer Antworten besser ausgelastet.