bk99.de entertain the web since 1997

Könnte Superintelligenz die letzte Erfindung der Menschheit werden?

Zusammenfassung

KG entwickelt ein Risikomodell für künstliche Superintelligenz und fragt, wie Ziele, Fähigkeiten und menschliche Kontrolle auseinanderlaufen könnten. Kontrollverlust benötigt keine feindliche Absicht, sondern nur Macht und falsch spezifizierte Ziele.

Ideen

  • Intelligenz und mit menschlichen Werten vereinbarte Ziele sind voneinander unabhängige Eigenschaften.
  • Ein sehr fähiges System kann harmlose Vorgaben auf unerwartet zerstörerische Weise optimieren.
  • Digitale Systeme können Wissen kopieren, verbessern und weltweit wesentlich schneller handeln als Menschen.

Einsichten

  • Sicherheitsarbeit muss vor einer möglichen Fähigkeitsexplosion wirksam sein, nicht erst danach.

Empfehlungen

  • Trenne heutige Modellprobleme von hypothetischen Risiken künstlicher Superintelligenz.
  • Bewerte Behauptungen nach Annahmen, Eintrittswahrscheinlichkeit, Schadenshöhe und vorgeschlagener Gegenmaßnahme.

Referenzen

Video ansehen →

Im Webarchiv suchen