bk99.de entertain the web since 1997

bk99.de
HF · InferenzKuratiert

Asynchronität im Continuous Batching

Zusammenfassung

Der Beitrag erweitert Continuous Batching um asynchrone Vorbereitung und Ausgabe, damit CPU-Arbeit den GPU-Scheduler weniger blockiert. Überlappte Pipelinephasen erhöhen die Auslastung bei vielen gleichzeitigen Anfragen. Tokenisierung, Scheduling und Ausgabe können mit GPU-Berechnung überlappt werden.

Ideen

  • Beschleuniger warten oft auf CPU- und Netzwerkphasen statt auf zusätzliche Modellberechnung.
  • Asynchronität steigert Durchsatz, erhöht aber die Zahl möglicher Reihenfolge- und Fehlerzustände.

Fakten

  • Tokenisierung, Scheduling und Ausgabe können mit GPU-Berechnung überlappt werden.
  • Continuous Batching nimmt Anfragen fortlaufend in aktive Batches auf.

Kritik

  • Mehr Parallelität erschwert Reproduzierbarkeit, Backpressure und saubere Abbruchbehandlung.

Empfehlungen

  • Nutze Tracing über Warteschlange, CPU, GPU und Streaming, um versteckte Wartezeiten zu finden.

Referenzen

Originalbeitrag auf Hugging Face lesen →

Im Webarchiv suchen

HF · 2025

Continuous Batching von Grund auf erklärt

Der Beitrag baut einen Scheduler, der neue Anfragen zwischen einzelnen Decoding-Schritten in laufende Stapel aufnimmt. So bleiben Beschleuniger trotz unterschiedlich langer Antworten besser ausgelastet.

HF · 2025

Lehren aus gpt-oss für schnellere Transformers

Der Beitrag überträgt Optimierungen aus OpenAIs offenen gpt-oss-Modellen auf die Transformers-Laufzeit. Im Fokus stehen Attention, Caches und Kernel, die auch anderen Modellen zugutekommen.