Bandit-Algorithmen statt starrer A/B-Tests
Zusammenfassung
Steve Hanov zeigt, wie ein Bayesianischer Bandit Verkehr fortlaufend auf erfolgversprechende Varianten verteilt. Der Beispielalgorithmus benötigt nur wenige Codezeilen.
Ideen
- Thompson Sampling balanciert Erkundung und Nutzung probabilistisch.
- Jede Beobachtung aktualisiert die Erfolgsverteilung einer Variante.
- Schwächere Varianten erhalten zunehmend weniger realen Verkehr.
- Das Verfahren maximiert Ertrag bereits während des Experiments.
Einsichten
- Optimierung und unverzerrte Erkenntnis verfolgen unterschiedliche Ziele.
- Adaptive Experimente reagieren schneller, erschweren aber klassische Auswertung.
- Unsicherheit sollte Entscheidungen sichtbar beeinflussen statt versteckt bleiben.
Fakten
- Beta-Verteilungen modellieren binäre Erfolgswahrscheinlichkeiten.
- Jede Variante wird weiterhin gelegentlich ausprobiert.
Empfehlungen
- Definiere Zielmetrik und Abbruchkriterium vor dem Experiment.
- Simuliere den Algorithmus mit bekannten Wahrscheinlichkeiten.
Referenzen
Links zur Originalquelle und zum Webarchiv öffnen einen neuen Tab.