bk99.de entertain the web since 1997

bk99.de
HF · InferenzKuratiert

Continuous Batching von Grund auf erklärt

Zusammenfassung

Der Beitrag baut einen Scheduler, der neue Anfragen zwischen einzelnen Decoding-Schritten in laufende Stapel aufnimmt. So bleiben Beschleuniger trotz unterschiedlich langer Antworten besser ausgelastet. Continuous Batching plant Anfragen auf Tokenebene statt pro vollständig abgeschlossenem Stapel.

Ideen

  • Statische Batches verschwenden Kapazität, sobald einzelne Sequenzen früher enden.
  • Scheduling beeinflusst Durchsatz, Tail-Latenz und Fairness gleichzeitig.

Fakten

  • Continuous Batching plant Anfragen auf Tokenebene statt pro vollständig abgeschlossenem Stapel.
  • Beendete Sequenzen geben Cache- und Rechenplätze sofort frei.

Kritik

  • Maximaler Durchsatz kann einzelne lange oder niedrig priorisierte Anfragen verhungern lassen.

Empfehlungen

  • Simuliere kurze und lange Anfragen gemeinsam und definiere explizite Fairness- sowie Abbruchregeln.

Referenzen

Originalbeitrag auf Hugging Face lesen →

Im Webarchiv suchen

HF · 2026

Asynchronität im Continuous Batching

Der Beitrag erweitert Continuous Batching um asynchrone Vorbereitung und Ausgabe, damit CPU-Arbeit den GPU-Scheduler weniger blockiert. Überlappte Pipelinephasen erhöhen die Auslastung bei vielen gleichzeitigen Anfragen.

HF · 2025

Lehren aus gpt-oss für schnellere Transformers

Der Beitrag überträgt Optimierungen aus OpenAIs offenen gpt-oss-Modellen auf die Transformers-Laufzeit. Im Fokus stehen Attention, Caches und Kernel, die auch anderen Modellen zugutekommen.