bk99.de entertain the web since 1997

bk99.de
HF · InferenzKuratiert

Wie BLOOM-Inferenz optimiert wurde

Zusammenfassung

Der Bericht verfolgt Optimierungen eines 176-Milliarden-Parameter-Modells von Speicherplanung bis verteilte Ausführung. Er zeigt, dass Produktionsinferenz ein Systemproblem aus Parallelisierung, Kerneln und Kommunikation ist. BLOOM ist zu groß für den Speicher einer einzelnen üblichen GPU.

Ideen

  • Bei sehr großen Modellen bestimmt die Verteilung von Gewichten und Cache die mögliche Parallelität.
  • Optimierung braucht belastbare Profile statt Vermutungen über den teuersten Abschnitt.

Fakten

  • BLOOM ist zu groß für den Speicher einer einzelnen üblichen GPU.
  • Die Lösung verteilt Modellberechnung über mehrere Beschleuniger.

Kritik

  • Die gezeigte Architektur ist für BLOOM und die eingesetzte Hardware optimiert, nicht universell.

Empfehlungen

  • Profiliere Vorverarbeitung, Prefill, Decoding, Kommunikation und Speicher separat.

Referenzen

Originalbeitrag auf Hugging Face lesen →

Im Webarchiv suchen

HF · 2026

Asynchronität im Continuous Batching

Der Beitrag erweitert Continuous Batching um asynchrone Vorbereitung und Ausgabe, damit CPU-Arbeit den GPU-Scheduler weniger blockiert. Überlappte Pipelinephasen erhöhen die Auslastung bei vielen gleichzeitigen Anfragen.

HF · 2025

Continuous Batching von Grund auf erklärt

Der Beitrag baut einen Scheduler, der neue Anfragen zwischen einzelnen Decoding-Schritten in laufende Stapel aufnimmt. So bleiben Beschleuniger trotz unterschiedlich langer Antworten besser ausgelastet.

HF · 2025

Lehren aus gpt-oss für schnellere Transformers

Der Beitrag überträgt Optimierungen aus OpenAIs offenen gpt-oss-Modellen auf die Transformers-Laufzeit. Im Fokus stehen Attention, Caches und Kernel, die auch anderen Modellen zugutekommen.