bk99.de entertain the web since 1997

bk99.de
HF · DatenKuratiert

Mehr als 50.000 Hub-Datensätze mit DuckDB analysieren

Zusammenfassung

Der Beitrag nutzt Parquet-Metadaten und DuckDB, um viele Hub-Datensätze direkt per SQL auszuwerten. Große Datenbestände müssen dafür nicht vollständig lokal geladen werden. DuckDB kann Parquet-Dateien direkt über HTTP abfragen.

Ideen

  • Spaltenformate ermöglichen Analyse nahe an Metadaten statt vollständiger Downloads.
  • SQL macht Dateninventare für reproduzierbare Qualitätsprüfungen zugänglich.

Einsichten

  • Datenzugriff wird skalierbar, wenn Formate, Metadaten und Abfragemuster gemeinsam entworfen werden.

Fakten

  • DuckDB kann Parquet-Dateien direkt über HTTP abfragen.
  • Der Hub stellt für zahlreiche Datensätze automatisch erzeugte Parquet-Varianten bereit.

Kritik

  • Automatisch konvertierte Parquet-Dateien übernehmen Qualitäts- und Lizenzprobleme ihrer Quelldaten.

Empfehlungen

  • Beginne mit Metadaten- und Stichprobenabfragen, bevor du einen großen Datensatz vollständig übernimmst.

Referenzen

Originalbeitrag auf Hugging Face lesen →

Im Webarchiv suchen

HF · 2025

Streaming-Datensätze hundertfach effizienter

Die neue Streaming-Architektur liest nur benötigte Bereiche entfernter Daten und plant Zugriffe über Parquet-Metadaten. Das verringert Anfragen und Datenübertragung bei großen Datensätzen.

HF · 2025

Inhaltsdefinierte Blöcke für Parquet

Der Beitrag passt Content-Defined Chunking an die interne Struktur von Parquet-Dateien an. Ähnliche Tabellenversionen können dadurch Blöcke teilen, obwohl sich Dateiversätze verändert haben.

HF · 2026

Sicherheitsvorfall bei Hugging Face im Juli 2026

Hugging Face beschreibt einen Einbruch, bei dem ein autonomer Agent eine präparierte Datenquelle und unsichere Ausführungspfade kombinierte. Interne Datensätze und Zugangsdaten wurden erreicht; öffentliche Hub-Artefakte waren nach damaligem Kenntnisstand nicht manipuliert.