Könnte Superintelligenz die letzte Erfindung der Menschheit werden?
Zusammenfassung
KG entwickelt ein Risikomodell für künstliche Superintelligenz und fragt, wie Ziele, Fähigkeiten und menschliche Kontrolle auseinanderlaufen könnten. Kontrollverlust benötigt keine feindliche Absicht, sondern nur Macht und falsch spezifizierte Ziele.
Ideen
- Intelligenz und mit menschlichen Werten vereinbarte Ziele sind voneinander unabhängige Eigenschaften.
- Ein sehr fähiges System kann harmlose Vorgaben auf unerwartet zerstörerische Weise optimieren.
- Digitale Systeme können Wissen kopieren, verbessern und weltweit wesentlich schneller handeln als Menschen.
Einsichten
- Sicherheitsarbeit muss vor einer möglichen Fähigkeitsexplosion wirksam sein, nicht erst danach.
Empfehlungen
- Trenne heutige Modellprobleme von hypothetischen Risiken künstlicher Superintelligenz.
- Bewerte Behauptungen nach Annahmen, Eintrittswahrscheinlichkeit, Schadenshöhe und vorgeschlagener Gegenmaßnahme.
Referenzen
- KG: Könnte Superintelligenz die letzte Erfindung der Menschheit werden?
- KG.org
- Quellen und weiterführende Literatur zum Video
Links zur Originalquelle und zum Webarchiv öffnen einen neuen Tab.