bk99.de entertain the web since 1997

bk99.de
HF · ModellformateKuratiert

Transformer mit Optimum nach ONNX exportieren

Zusammenfassung

Der Leitfaden zeigt Export und Validierung von Transformers-Modellen im ONNX-Format. Das entkoppelt das trainierte Modell von PyTorch und öffnet den Weg zu spezialisierten Laufzeiten. Optimum stellt Kommandozeilen- und Python-Wege für den ONNX-Export bereit.

Ideen

  • Ein Austauschformat wird erst vertrauenswürdig, wenn Ausgaben gegen das Ursprungsmodell geprüft werden.
  • Dynamische Achsen entscheiden, ob ein Export mit variablen Stapel- und Sequenzgrößen funktioniert.

Einsichten

  • Austauschformate schaffen Portabilität nur zusammen mit eindeutiger Semantik und Validierung.

Fakten

  • Optimum stellt Kommandozeilen- und Python-Wege für den ONNX-Export bereit.
  • Die Validierung vergleicht Referenz- und ONNX-Ausgaben innerhalb definierter Toleranzen.

Kritik

  • Nicht unterstützte Operatoren und dynamische Kontrollflüsse können Export oder Portabilität begrenzen.

Empfehlungen

  • Archiviere Exportbefehl, Opset, Eingabeformen und Validierungsergebnis zusammen mit dem Modell.

Referenzen

Originalbeitrag auf Hugging Face lesen →

Im Webarchiv suchen

HF · 2023

Safetensors nach unabhängiger Sicherheitsprüfung

Trail of Bits prüfte Safetensors als Format zum Speichern von Tensoren ohne ausführbaren Deserialisierungscode. Die Ergebnisse stärkten den Wechsel weg von riskanten Pickle-basierten Gewichtsdateien.

HF · 2022

Transformer mit OpenVINO beschleunigen

Optimum Intel exportiert Transformer für OpenVINO und führt sie optimiert auf Intel-Hardware aus. Der Beitrag verbindet Modellkonvertierung, Quantisierung und Pipeline-Nutzung.

HF · 2022

8-Bit-Matrixmultiplikation für große Transformer

Die Integration von bitsandbytes lädt große Modelle mit 8-Bit-Gewichten und behandelt empfindliche Ausreißer gesondert. Dadurch sinkt der Speicherbedarf, während wichtige numerische Anteile höher präzise bleiben.