bk99.de entertain the web since 1997

bk99.de
HF · InferenzKuratiert

Dreißig LoRA-Modelle mit einem Server bedienen

Zusammenfassung

Text Generation Inference lädt viele LoRA-Adapter über einem gemeinsamen Basismodell und bedient sie gemeinsam. Das vermeidet vollständige Modellkopien und verbessert die Auslastung. Die Demonstration bedient 30 LoRA-Modelle über eine TGI-Instanz.

Ideen

  • Adapter-Multitenancy teilt teure Basisgewichte zwischen spezialisierten Diensten.
  • Scheduler müssen verschiedene Adapter ohne unfaire Latenzspitzen gemeinsam stapeln.

Fakten

  • Die Demonstration bedient 30 LoRA-Modelle über eine TGI-Instanz.
  • Alle Adapter verwenden dasselbe geladene Basismodell.

Kritik

  • Die Zahl möglicher Adapter hängt von Größe, Verkehrsmuster und gemeinsamem Basismodell ab.

Empfehlungen

  • Setze Speicherlimits pro Adapter und teste Fairness sowie Tail-Latenz bei gemischter Last.

Referenzen

Originalbeitrag auf Hugging Face lesen →

Im Webarchiv suchen

HF · 2022

Sehr große Modelle mit Accelerate laden

Accelerate verteilt Modellteile über GPU, CPU und Datenträger, statt zuerst das gesamte Modell im Arbeitsspeicher aufzubauen. Leere Initialisierung und automatische Gerätekarten vermeiden unnötige Spitzen.

HF · 2026

Asynchronität im Continuous Batching

Der Beitrag erweitert Continuous Batching um asynchrone Vorbereitung und Ausgabe, damit CPU-Arbeit den GPU-Scheduler weniger blockiert. Überlappte Pipelinephasen erhöhen die Auslastung bei vielen gleichzeitigen Anfragen.

HF · 2025

Continuous Batching von Grund auf erklärt

Der Beitrag baut einen Scheduler, der neue Anfragen zwischen einzelnen Decoding-Schritten in laufende Stapel aufnimmt. So bleiben Beschleuniger trotz unterschiedlich langer Antworten besser ausgelastet.