bk99.de entertain the web since 1997

bk99.de
HF · InferenzKuratiert

Beschleunigte Pipelines mit Optimum

Zusammenfassung

Optimum bindet optimierte Laufzeiten in vertraute Transformers-Pipelines ein. Modelle können dadurch mit ONNX Runtime beschleunigt werden, ohne die gesamte Anwendung neu zu schreiben. Optimum bietet ORTModel-Klassen für ONNX Runtime.

Ideen

  • Kompatible APIs senken die Kosten, eine optimierte Laufzeit praktisch zu erproben.
  • Export und Optimierung müssen als eigener Buildschritt reproduzierbar bleiben.

Fakten

  • Optimum bietet ORTModel-Klassen für ONNX Runtime.
  • Optimierte Modelle lassen sich über die Transformers-Pipeline-Schnittstelle verwenden.

Kritik

  • API-Kompatibilität garantiert weder identische Ergebnisse noch Beschleunigung für jedes Modell.

Empfehlungen

  • Vergleiche Ausgaben und numerische Toleranzen vor und nach Export sowie Quantisierung.

Referenzen

Originalbeitrag auf Hugging Face lesen →

Im Webarchiv suchen

HF · 2026

Asynchronität im Continuous Batching

Der Beitrag erweitert Continuous Batching um asynchrone Vorbereitung und Ausgabe, damit CPU-Arbeit den GPU-Scheduler weniger blockiert. Überlappte Pipelinephasen erhöhen die Auslastung bei vielen gleichzeitigen Anfragen.

HF · 2025

Continuous Batching von Grund auf erklärt

Der Beitrag baut einen Scheduler, der neue Anfragen zwischen einzelnen Decoding-Schritten in laufende Stapel aufnimmt. So bleiben Beschleuniger trotz unterschiedlich langer Antworten besser ausgelastet.

HF · 2025

Lehren aus gpt-oss für schnellere Transformers

Der Beitrag überträgt Optimierungen aus OpenAIs offenen gpt-oss-Modellen auf die Transformers-Laufzeit. Im Fokus stehen Attention, Caches und Kernel, die auch anderen Modellen zugutekommen.