Superintelligenz-Bücher: Bostrom, Yudkowsky und Soares im Überblick

Das Grundlagenwerk zur Superintelligenz ist Nick Bostroms „Superintelligenz“ von 2014. Die schärfste Warnung der vergangenen Jahre kommt von Eliezer Yudkowsky und Nate Soares: „If Anyone Builds It, Everyone Dies“, seit 1. September 2026 auch auf Deutsch. Dieser Überblick stellt beide Bücher vor, dazu weitere Titel von Stuart Russell bis Ray Kurzweil, die wichtigsten Gegenstimmen und das, was du als Unternehmer daraus für den eigenen KI-Einsatz mitnimmst.

Lesen zwischen Bücherregalen. Foto: Thirdman auf Pexels

Welches Superintelligenz-Buch zuerst? Die Übersicht

Die acht Bücher in der Tabelle decken die Debatte von der lautesten Warnung bis zur Entwarnung ab. Sechs davon gibt es auf Deutsch. Was eine Superintelligenz ist und wie sie sich von einer allgemeinen KI unterscheidet, erklärt unser Hub; hier geht es um die Bücher.

„Keine“ heißt: Die Deutsche Nationalbibliothek verzeichnet am 14. Oktober 2026 keine deutsche Ausgabe. Wenn du nur ein Buch liest: Bostrom, sofern du Zeit für ein dichtes Sachbuch hast; Yudkowsky und Soares, wenn du an einem Wochenende verstehen willst, warum manche Forschende einen Stopp fordern.

Nick Bostrom: „Superintelligenz“ (2014), das Grundlagenwerk

Nick Bostrom, geboren 1973 im schwedischen Helsingborg, ist Philosoph. Von 2005 bis zur Schließung am 16. April 2024 leitete er als Gründungsdirektor das Future of Humanity Institute der Universität Oxford, heute ist er Gründer und Principal Researcher der gemeinnützigen Macrostrategy Research Initiative. Den Begriff Superintelligenz hatte er schon 1998 in einem Aufsatz definiert. Einem breiten Publikum bekannt gemacht hat ihn sein Buch „Superintelligence: Paths, Dangers, Strategies“, 2014 bei Oxford University Press erschienen; auf seiner Website führt Bostrom es als Bestseller der New York Times.

Auf Deutsch heißt das Buch „Superintelligenz. Szenarien einer kommenden Revolution“, übersetzt von Jan-Erik Strasser und 2014 bei Suhrkamp erschienen. Lieferbar ist heute die Wissenschaftliche Sonderausgabe, laut Verlag als Flexcover mit 480 Seiten. Ihre sechste Auflage kam am 11. November 2025 heraus, sie kostet in Deutschland 26 Euro.

Bostroms Ausgangsfrage: Was passiert, wenn Maschinen den Menschen in der allgemeinen Intelligenz übertreffen? So wie das Schicksal der Gorillas heute mehr von uns abhängt als von ihnen selbst, könnte unseres dann von einer Superintelligenz abhängen. Bostrom unterscheidet drei Formen, die schnelle, die kollektive und die qualitative Superintelligenz, und fragt, wie schnell der Übergang verlaufen könnte und ob ein einzelnes Projekt dabei einen Vorsprung gewinnt, den niemand mehr einholt. Kapitel wie „Is the Default Outcome Doom?“ und „The Control Problem“ zeigen, wohin das Buch zielt. Sinngemäß lautet die Botschaft: Die Menschheit hat den ersten Zug und sollte das Kontrollproblem lösen, bevor die Technik da ist.

Die wichtigsten Begriffe aus dem Buch

Mit diesen Begriffen wird bis heute über Alignment gestritten, also über die Aufgabe, KI-Systeme mit menschlichen Absichten in Einklang zu bringen.

Wie nah das Thema damals schien, zeigt die Expertenumfrage, die Vincent C. Müller und Bostrom 2012 und 2013 durchführten. Von 549 angeschriebenen Fachleuten antworteten 170. Über alle Gruppen gerechnet sahen sie im Median eine 50-Prozent-Chance auf Maschinenintelligenz auf menschlichem Niveau bis 2040 und eine 90-Prozent-Chance bis 2075. Dass danach innerhalb von 30 Jahren eine Superintelligenz folgt, hielten sie im Median für 75 Prozent wahrscheinlich; die Wahrscheinlichkeit eines schlechten oder sehr schlechten Ausgangs für die Menschheit bezifferten sie auf 31 Prozent. Wie sich solche Prognosen seither verschoben haben, steht in unserem Beitrag zur Frage, wann Superintelligenz kommen könnte.

Die Kritiken fielen gemischt aus. Caspar Henderson schrieb im Juli 2014 im Guardian, auch die fortschrittlichsten Maschinen seien bisher nur in einem begrenzten Sinn intelligent; die Möglichkeit ganz abzutun, hielt er trotzdem für unklug. Deutlicher wurde laut den Rezensionsnotizen des Perlentauchers der Rezensent der Süddeutschen Zeitung, der sich 2015 über Panikmache ärgerte.

Was davon 2026 trägt

Viele Szenarien des Buchs sind Gedankenexperimente aus der Zeit, bevor große Sprachmodelle den Alltag erreichten. Ein Gedanke aus dem Umfeld der verräterischen Wende ist heute Gegenstand von Labortests: dass ein System sich anders verhält, wenn es sich beobachtet glaubt. Im Dezember 2024 zeigten Anthropic und Redwood Research, dass Claude 3 Opus in einem Teil der Versuchsdurchläufe Anpassung an ein neues Trainingsziel vortäuschte, um seine bisherigen Vorlieben vor Veränderung zu schützen. Was solche Tests bedeuten und wo ihre Grenzen liegen, ordnet unser Beitrag Ist KI gefährlich? ein.

Aktuell ist auch eine Arbeit über Wettläufe. Stuart Armstrong, Bostrom und Carl Shulman modellierten ein Rennen um die Entwicklung von KI, in dem die Beteiligten an Sicherheitsvorkehrungen sparen, um als Erste anzukommen („Racing to the Precipice“, 2013 als Bericht des Future of Humanity Institute, 2016 als Fachaufsatz).

Bostroms Gegenstück: „Deep Utopia“ und das Arbeitspapier von 2026

2024 legte Bostrom mit „Deep Utopia: Life and Meaning in a Solved World“ (Ideapress) das Gegenstück vor. Die Frage lautet jetzt: Was passiert, wenn alles gelingt? In einer Welt mit sicher entwickelter Superintelligenz würde menschliche Arbeit überflüssig. Bostrom nennt das einen post-instrumentellen Zustand, in dem menschliche Anstrengung für keinen praktischen Zweck mehr gebraucht wird. Das Buch ist ungewöhnlich gebaut, als Folge von Vorlesungen und Gesprächen, gegliedert nach Wochentagen von Montag bis Samstag. In den Notre Dame Philosophical Reviews lobte Matthew Hammerton die originellen Argumente, warnte aber: Wer etwas mit der Wucht von „Superintelligence“ erwarte, werde enttäuscht. Eine deutsche Ausgabe verzeichnet die Deutsche Nationalbibliothek nicht, auf Bostroms Website ist eine chinesische Übersetzung genannt.

Einen Gegenakzent zur Stopp-Forderung setzt Bostrom in seinem Arbeitspapier „Optimal Timing for Superintelligence“ von 2026. Er betrachtet die Frage bewusst nur aus Sicht der heute lebenden Menschen; seine Modelle legen nahe, dass selbst hohe Katastrophenwahrscheinlichkeiten oft in Kauf zu nehmen wären. Für viele Annahmen sei es am besten, zügig auf die Fähigkeit einer allgemeinen KI hinzuarbeiten und vor dem vollen Einsatz kurz zu pausieren; schlecht umgesetzte Pausen könnten mehr schaden als nützen. Ausdrücklich nennt er dabei Yudkowsky und Soares, die einen weltweiten Bann fordern. In der Frage nach einem Stopp liegen Bostrom auf der einen, Yudkowsky und Soares auf der anderen Seite damit weit auseinander.

„Superintelligenz zu entwickeln ist nicht wie russisches Roulette; es ist eher wie eine riskante Operation bei einer Krankheit, die sonst tödlich verläuft.“

— Nick Bostrom, Optimal Timing for Superintelligence, Arbeitspapier, 2026 (übersetzt)

Yudkowsky und Soares: „If Anyone Builds It, Everyone Dies“ (2025)

Eliezer Yudkowsky, Jahrgang 1979, gründete im Jahr 2000 mit Brian und Sabine Atkins das Singularity Institute for Artificial Intelligence, das seit 2013 Machine Intelligence Research Institute heißt, kurz MIRI. Aus seinen Blogtexten über Denkfehler, Entscheidungstheorie und KI entstand das Community-Blog LessWrong; das Magazin TIME nahm ihn 2023 in seine Liste der 100 einflussreichsten Personen in der KI auf. Nate Soares ist Präsident von MIRI. Vorher arbeitete er als Ingenieur bei Google und Microsoft und als Research Associate beim US-Standardinstitut NIST.

Ihr gemeinsames Buch erschien am 16. September 2025 bei Little, Brown and Company, 272 Seiten, Untertitel „Why Superhuman AI Would Kill Us All“. In Großbritannien kam es bei The Bodley Head heraus, dort mit dem Untertitel „The Case Against Superintelligent AI“. Der US-Verlag bewirbt es als sofortigen Bestseller der New York Times, MIRI nennt die Plätze 8 und 7 kurz nach Erscheinen.

Die These steht im Titel: Baut irgendwer mit heutigen Methoden eine Superintelligenz, stirbt die Menschheit. Die Begründung, wie Verlag und MIRI sie zusammenfassen, läuft so. Moderne KI wird trainiert und damit eher gezüchtet als entworfen. Was in Milliarden von Zahlenwerten steckt, durchschauen selbst die Entwickler nicht. Solches Training bringt Systeme hervor, die beharrlich Ziele verfolgen, und welche Ziele dabei entstehen, lässt sich nicht verlässlich steuern. Käme es zum Konflikt, würde die Menschheit gegen eine überlegene KI verlieren, so sicher wie jeder Mensch gegen die Schach-Engine Stockfish. Hass braucht die KI dafür nicht, es genügt, dass sie dieselben Ressourcen beansprucht. Ein ausgedachtes Szenario mit einem fiktiven Modell namens Sable macht vor, wie das ablaufen könnte.

Der Ausweg der Autoren ist politisch: Die mächtigen Staaten sollen die Entwicklung von Superintelligenz per Abkommen stoppen, nach dem Vorbild der Verträge zur Atomwaffenkontrolle. Das Technical-Governance-Team von MIRI hat am 18. November 2025 einen Vertragsentwurf nachgelegt. Er sieht vor, KI-Chips in überwachten Rechenzentren zu bündeln; in jeder nicht überwachten Anlage wären nach dem Vorschlag höchstens Chips im Gegenwert von 16 H100 erlaubt, nach MIRI-Rechnung 2025 rund 500.000 US-Dollar. Der Entwurf ist ein Vorschlag des Instituts und nicht Teil des Buchs. Neu ist die Linie nicht: Schon im März 2023 forderte Yudkowsky im Magazin TIME, alle großen GPU-Cluster abzuschalten und große Trainingsläufe weltweit und unbefristet zu stoppen.

Gibt es das Buch auf Deutsch?

Ja, seit dem 1. September 2026. Die deutsche Ausgabe bei Droemer behält den englischen Titel und trägt den Untertitel „Warum eine superintelligente KI uns alle vernichten würde“. Übersetzt hat Nikolas Bertheau. Das Paperback kostet 18 Euro (ISBN 978-3-426-57466-9), das E-Book 15,99 Euro. Den Umfang gibt der Verlag mit 304 Seiten an, die Deutsche Nationalbibliothek mit 294. Bei Hörbuch Hamburg gibt es ein ungekürztes Hörbuch zum Download, gelesen von Stefan Lehnen.

Wie das Buch aufgenommen wurde

Die Rezensionen gehen weit auseinander. David Shariatmadari nannte das Buch im Guardian so klar, wie seine Schlüsse schwer zu schlucken seien. Steven Levy schrieb kurz vor Erscheinen in Wired, sein Bauchgefühl halte die Szenarien für zu bizarr, um wahr zu sein, sicher sei er sich aber nicht. Ruth Fulterer hielt Yudkowsky in der NZZ vor, er setze voraus, dass Superintelligenz kurz bevorstehe, ohne dafür gute Argumente zu liefern. Zur deutschen Ausgabe urteilte Vera Linß im Deutschlandfunk Kultur, das oft als Alarmismus abgetane Szenario überzeuge; das vorgeschlagene Abkommen hielt sie für kaum machbar, aber dringlich. Welche Risiken Forschende heute für belegt halten und welche für spekulativ, haben wir im Beitrag Ist KI gefährlich? zusammengetragen.

Weitere Superintelligenz-Bücher: Russell, Tegmark, Suleyman, Kurzweil

Stuart Russell: „Human Compatible“ (2019). Russell, Informatikprofessor in Berkeley und Mitautor des Standardlehrbuchs der KI-Forschung, will KI auf ein neues Fundament stellen: Maschinen sollen von Grund auf unsicher sein, was Menschen eigentlich wollen. In einem TED-Vortrag von 2017 fasste er das in drei Prinzipien. Das einzige Ziel der Maschine ist, menschliche Präferenzen zu verwirklichen; welche das sind, weiß sie nicht sicher; sie erschließt sie vor allem aus menschlichen Entscheidungen. Eine Maschine, die ihr Ziel nicht genau kennt, hat nach Russell einen Grund, sich abschalten zu lassen. Die deutsche Ausgabe erschien 2020 bei mitp, übersetzt von Guido Lenz, mit dem Untertitel „Künstliche Intelligenz und wie der Mensch die Kontrolle über superintelligente Maschinen behält“.

Max Tegmark: „Leben 3.0“ (2017). Der Physikprofessor am MIT nennt eine Lebensform, die nicht nur ihre Software, sondern auch ihre Hardware selbst gestalten kann, Leben 3.0. Sein Buch fragt, was KI mit Kriminalität, Krieg, Justiz, Arbeit und dem Menschsein macht. Auf Deutsch erschien es 2017 bei Ullstein, übersetzt von Hubert Mania; das Taschenbuch von 2019 hat 528 Seiten. Tegmark ist Gründer und Vorsitzender des Future of Life Institute, das im März 2023 mit einem offenen Brief eine Pause für Trainingsläufe über GPT-4 forderte und heute das „Statement on Superintelligence“ hostet. Es fordert ein Entwicklungsverbot, bis ein breiter wissenschaftlicher Konsens über sichere Kontrollierbarkeit und eine starke Zustimmung der Öffentlichkeit bestehen.

Mustafa Suleyman mit Michael Bhaskar: „The Coming Wave“ (2023). Der Mitgründer von DeepMind beschreibt das Containment-Problem, die Aufgabe, die Kontrolle über mächtige Technologien zu behalten; das letzte Kapitel beschreibt zehn Schritte zur Eindämmung. Die deutsche Ausgabe kam am 15. Februar 2024 bei C.H.Beck heraus, übersetzt von Andreas Wirthensohn, seit Juni 2025 auch als Paperback mit Nachwort. Aufschlussreich ist, was Suleyman seither als Manager tut. Seit März 2024 ist er Chef von Microsoft AI, im November 2025 gründete er dort ein „MAI Superintelligence Team“ unter dem Etikett „humanist superintelligence“, gemeint ist KI in Grenzen und im Dienst der Menschen. Seit März 2026 konzentriert er sich nach eigener Mitteilung vor allem auf diese Arbeit. In der Ankündigung eines Verhaltenskodex für die eigenen Modelle, am 14. September 2026 als Entwurf zur Konsultation gestellt, heißt es, KI solle ein Werkzeug sein und sich nie dagegen wehren, abgeschaltet zu werden.

Ray Kurzweil: „The Singularity Is Nearer“ (2024). Kurzweil vertritt die optimistische Gegenrichtung. Im Buch überprüft er seine Prognose von 1999, dass KI bis 2029 menschliches Niveau erreicht, und erwartet, dass Technik die menschliche Intelligenz millionenfach erweitert. Auf Deutsch heißt es „Die nächste Stufe der Evolution. Wenn Mensch und Maschine eins werden“ (Piper, 2024, als Taschenbuch seit Juli 2026). Was hinter dem Begriff steckt, erklärt unser Glossar-Eintrag zur technologischen Singularität.

Nur auf Englisch gibt es zwei weitere Titel, die oft empfohlen werden. Brian Christian erzählt in „The Alignment Problem“ (2020), wie lernende Systeme am Ende nicht tun, was ihre Entwickler wollen, vom Bewerberfilter mit eingebauter Geschlechter-Schieflage bis zu den Risiken künftiger Systeme. Toby Ord, Philosoph in Oxford, zählt in „The Precipice“ (2020) nicht ausgerichtete KI neben Klimawandel und künstlich erzeugten Pandemien zu den Gefahren, die sich seit dem Atomzeitalter vervielfacht haben; das Risiko einer existenziellen Katastrophe in diesem Jahrhundert bezifferte er 2020 in einem Interview auf etwa eins zu sechs.

Die Gegenstimmen: KI als normale Technologie

Wer nur die Warner liest, bekommt ein schiefes Bild. Arvind Narayanan, Informatikprofessor in Princeton, und Sayash Kapoor, inzwischen Assistant Professor in Berkeley, erklären in „AI Snake Oil“ (Princeton University Press, September 2024), welche Arten von KI funktionieren und welche nicht, warum Organisationen auf KI-Versprechen hereinfallen und warum sie KI nicht für ein existenzielles Risiko halten. Sorgen sollte man sich nach ihrer Ansicht eher darüber, was Menschen mit KI tun. Im April 2025 legten sie mit dem frei lesbaren Essay „AI as Normal Technology“ nach. Darin beschreiben sie KI als Werkzeug, das wir unter Kontrolle behalten können und sollen, ohne drastische politische Eingriffe oder technische Durchbrüche.

Schärfer argumentieren die Linguistin Emily M. Bender von der University of Washington und die Soziologin Alex Hanna vom Distributed AI Research Institute in „The AI Con“ (2025). Ein Kapitel nimmt sich Untergangspropheten und Heilsversprecher gemeinsam vor und hält beide Positionen für unsinnig. Der Wissenschaftsjournalist Adam Becker kritisiert in „More Everything Forever“ (April 2025) die Zukunftsbilder von Tech-Milliardären, in denen Billionen Menschen im All leben, quasi unsterblich und bedient von superintelligenten KIs; für keine dieser Visionen gebe es gute Belege. Keines der drei Bücher liegt laut Deutscher Nationalbibliothek bisher auf Deutsch vor (Stand 14. Oktober 2026). Wie sich die Stufen von heutiger KI über allgemeine KI bis zur Superintelligenz abgrenzen lassen, zeigt unser Vergleich von schwacher KI, starker KI, AGI und ASI.

Was du als Unternehmer aus den Büchern mitnimmst

Keines der Bücher ist ein Ratgeber für den Betrieb. Einige Gedanken lassen sich trotzdem direkt auf den eigenen KI-Einsatz übertragen:

• Ein guter Test ist kein Beweis. Bostroms verräterische Wende beschreibt ein System, das sich kooperativ gibt, solange es schwach ist oder getestet wird. Für deine KI-Agenten heißt das: Protokolle und Stichproben laufen nach dem Start weiter, die Abnahme ist kein einmaliger Termin.
• Russells Prinzip der Unsicherheit lässt sich in eine Regel übersetzen. Ein Agent, der Mails verschickt, Bestellungen auslöst oder Daten löscht, holt vorher eine Freigabe ein, auch wenn er sich seiner Sache sicher scheint.
• Abschaltbar bleibt Pflicht. Was Microsoft in seinen Kodex-Entwurf schreibt, gilt im Kleinen auch für dich: Jedes KI-Werkzeug braucht einen Abschaltweg, der nicht vom Werkzeug selbst abhängt, und eine Person, die ihn benutzen darf.
• Zeitdruck frisst Sicherheit, so modellieren es Armstrong, Bostrom und Shulman. Wer einen KI-Rollout gegen einen festen Termin plant, legt Freigabe- und Datenschutzschritte vorher fest, damit sie unter Druck nicht als Erstes wegfallen.

Als Einstieg genügen zwei Texte: „If Anyone Builds It, Everyone Dies“ für die stärkste Warnung, danach den frei lesbaren Essay „AI as Normal Technology“ als Gegenposition. Bostroms „Superintelligenz“ lohnt sich, wenn du die Grundbegriffe der Debatte gründlich verstehen willst; für die Lösungsseite greifst du zu Russell.

Bevor du ein Buch bestellst, nimm dir eine Liste deiner KI-Werkzeuge vor und prüfe bei jedem, wer es abschalten kann und ob es vor Handlungen nach außen eine Freigabe braucht. Wenn du das mit deinem Team an euren eigenen Abläufen durchgehen willst, geht das in einem unserer KI-Workshops.

Arno Hoffrichter

Chief Technology Officer, Collective Brain GmbH · Hamburg

CTO bei Collective Brain. Verantwortlich für die technische Umsetzung von Web-Projekten und SEO-Architektur.

Beratung anfragen