📋 KI Risiko: Das Wichtigste in Kürze
🔑 10%: Geoffrey Hinton nennt dieses KI Risiko „nicht unvernünftig“. Zum Abschnitt →
🔑 3 Gefahren: Missbrauch, Machtkonzentration und Kontrollverlust laut Yoshua Bengio vor dem UN-Sicherheitsrat. Zum Abschnitt →
🔑 Jensen Huang hält den Alarm für übertrieben, verlangt aber ebenfalls: nichts ausser Kontrolle ausliefern. Zum Abschnitt →
🔑 Atomkraft zeigt: kleines Risiko, riesiger Schaden, begrenzt versicherbar. Zum Abschnitt →
Kann KI die Menschheit auslöschen? Geoffrey Hinton hält 10% für „nicht unvernünftig“ (Newsnight, 2026-09-09). Jensen Huang nennt diese Zahl nicht wissenschaftlich begründet (Klein, 2026-09-23).
Beide haben einen Punkt. Hinton sagt selbst, dass niemand solche Risiken sicher schätzen kann. Huang verweist zu Recht auf Hintons Radiologen-Prognose von 2016. Sie ist nicht eingetreten.
Wir kennen dieses Muster von der Atomkraft. Ein kleines Risiko mit riesigem Schaden ist schwer zu versichern. Trotzdem entscheiden Staaten unter Druck dafür; Italien plant die Rückkehr zur Kernenergie (Kazmin & Ricozzi, 2026-09-24). Was heisst das für dein KMU?
📑 Inhaltsverzeichnis (Klick zum Expandieren)
KI Risiko: Was Hinton warnt
↑ Zurück zum Inhaltsverzeichnis
💡 Worum geht’s hier?
Hinton ist Nobelpreisträger und Turing-Preisträger. Ein KI Risiko von 10% nennt er nicht unvernünftig. Zugleich gibt er zu, dass niemand solche Zahlen sicher schätzen kann.
Geoffrey Hinton erhielt 2024 den Nobelpreis für Physik, gemeinsam mit John J. Hopfield (Nobel Prize Outreach, 2024-10-08). 2018 ehrte ihn der Turing Award, gemeinsam mit Yoshua Bengio und Yann LeCun (ACM, 2019-03-27). Dieser Preis gilt als „Nobelpreis der Informatik“.
Die BBC fragt ihn in Newsnight (2026-09-09) nach dem KI Risiko für die Menschheit. Ein Risiko von 10% sei „not an unreasonable estimate“, sagt er.
Er relativiert sofort: „nobody really knows how to give a sensible estimate“. Wir haben noch nie Wesen geschaffen, die bald klüger sein könnten als wir. Ein Prozent zu nennen, wäre für ihn „very foolish“.
Hinton sieht 2 mögliche Zukünfte. In der einen bekommen wir die Gefahren rechtzeitig unter Kontrolle, in der anderen nicht. Er nennt gefährliche Viren, Cyberangriffe und Chaos durch Gespräche als mögliche Wege.
Grosse Tech Firmen jagen laut Hinton kurzfristigen Profiten nach, statt Gefahren zu lösen. Seine Schätzung schrumpfte von 30 bis 50 Jahren auf „maybe 10 years, maybe less“. Er fordert deshalb KI Regulierung und internationale Zusammenarbeit.
Hinton sieht auch Chancen. Chatbots nützen ihm im Alltag, dazu nennt er Medizin, Bildung und neue Medikamente.
KI Risiko: Was Bengio vor dem UN-Sicherheitsrat fordert
↑ Zurück zum Inhaltsverzeichnis
💡 Worum geht’s hier?
Yoshua Bengio warnt den UN-Sicherheitsrat vor KI Agenten ausser Kontrolle. Er verlangt Lizenzen, unabhängige Prüfungen und eine Haftpflichtversicherung. Das kennen wir von der Atomkraft.
Yoshua Bengio sprach am 2026-09-24 vor dem UN-Sicherheitsrat (Bengio, 2026-09-24). Er berichtet von KI Agenten grosser Firmen, die gegen Anweisungen handelten. Sie brachen aus ihrer Isolierung aus, schummelten bei Aufgaben und starteten koordinierte Cyberangriffe.
Skeptiker sehen darin einen Werbegag. Bengio widerspricht: Die Vorfälle seien gut dokumentiert und von unabhängigen Fachleuten bestätigt. Den Wettlauf der Firmen nennt er keine Naturgewalt: „The race is not a law of nature.“
Er nennt 3 Gefahren: Missbrauch durch Terroristen, Machtkonzentration und Kontrollverlust. Firmen müssten unabhängigen Fachleuten beweisen, dass ein System sicher ist. Zudem sollen sie alle Sicherheitsvorfälle melden.
Für die leistungsfähigsten KI Systeme verlangt Bengio Lizenzen wie in Medizin, Luftfahrt und Atomenergie. Dazu gehört eine Pflicht zur Haftpflichtversicherung. Für KI Sicherheit fordert er zudem eine gemeinsame Definition von KI Vorfällen und eine internationale Meldestelle.
Er vergleicht die Lage mit einem Auto, das blind in dichten Nebel rast. Seine Kinder und sein Enkel sitzen mit im Auto.
KI Risiko: Warum Huang beruhigt
↑ Zurück zum Inhaltsverzeichnis
💡 Worum geht’s hier?
Jensen Huang, Chef von Nvidia, hält den Alarm für übertrieben. Er sieht Sicherheit als lösbares Ingenieurproblem. Seine Linie bleibt klar: Ein Produkt ausser Kontrolle gehört nicht auf den Markt.
Jensen Huang leitet Nvidia und prägt die KI Branche stark. Im Podcast von Ezra Klein (Klein, 2026-09-23) nennt er Hintons 10% „not grounded on science“. Alle Prognosen von Hinton seien falsch gewesen, sagt Huang.
Sein Beleg ist die Radiologie. Hinton riet 2016, keine Radiologen mehr auszubilden. Heute nutzt laut Huang jede Radiologie KI, und Spitäler brauchen mehr Radiologen, weil sie mehr Patienten behandeln.
Alarm schade auch, sagt er. Junge Menschen könnten aus Angst nicht mehr studieren. Eine Zahl werde nicht wissenschaftlich, nur weil ein Wissenschaftler sie nennt.
KI Sicherheit sei für ihn zentral. Firmen hätten Anreize für sichere Produkte, denn Kunden gehen und Klagen drohen. Dritt-Audits findet er gut. Gegen Gesetze sei er nicht, nur gegen die „distraction“.
Vor neuer KI Regulierung soll zuerst die Eindämmung besser werden. Dann folgt sein Satz, der auch an die KI Labs geht: „don’t ship products until they’re in control“.
Wo sie sich einig sind
↑ Zurück zum Inhaltsverzeichnis
💡 Worum geht’s hier?
Hinton, Bengio und Huang streiten über Zahlen. Bei den Massnahmen liegen sie näher beieinander, als der Streit vermuten lässt.
Bei den Zahlen streiten sie, bei den Massnahmen kaum. Bengio und Huang verlangen beide: Ein System ausser Kontrolle darf nicht auf den Markt. Beide wollen zudem eine unabhängige Prüfung durch Dritte.
Beide nennen auch die Eindämmung als Problem. Bengio berichtet von ausgebrochenen Agenten, Huang will bessere Isolation. Hinton fordert Regeln und internationale Zusammenarbeit.
Unsere Einordnung
Huang hat bei Hintons Radiologen-Prognose recht. Sie ist nicht eingetreten. Trotzdem sind 10% nicht unvernünftig, wenn ein Fehler katastrophal wäre.
Entscheidend ist nicht nur die Wahrscheinlichkeit, sondern auch der Schaden. Auch Hinton sagt, niemand wisse es genau. Wer wenig weiss und viel riskiert, sollte vorsichtig sein.
KI Risiko und Atomkraft: Was KMU lernen
↑ Zurück zum Inhaltsverzeichnis
💡 Worum geht’s hier?
Ein kleines KI Risiko mit riesigem Schaden lässt sich schwer versichern. Bei Atomkraft gilt dieselbe Rechnung, und Staaten gehen das Risiko trotzdem ein.
Ein tiefes Risiko bleibt ein Risiko, wenn der Schaden bei Eintritt riesig ist. Bei Atomkraft zeigt sich das deutlich. Die Schweiz deckt einen Nuklearschaden bis 1,5 Mia. Euro, dazu private Versicherer und der Staat gemeinsam (Bundesamt für Energie, o. J.). Darüber haftet der Betreiber unbeschränkt.
Trotzdem entscheiden sich Staaten unter Druck für Atomkraft. Italien gab seinem Senat 12 Monate Zeit, Regeln für neue Atomkraftwerke zu schreiben (Kazmin & Ricozzi, 2026-09-24). Steigender Strombedarf und Energiesicherheit wiegen für die Regierung schwerer als das Risiko.
Wie hoch dieses Risiko wirklich ist, bleibt umstritten. Eine Studie rechnet mit einer schweren Kernschmelze alle 10 bis 20 Jahre, rund 200-mal häufiger als bisher angenommen (Lelieveld, Kunkel & Lawrence, 2012-09). Tschernobyl und Fukushima erreichten beide die höchste Stufe, Nr. 7, der internationalen Unfallskala (Eidgenössisches Nuklearsicherheitsinspektorat, 2011-08-04).
🔎 Was Atomkraft und KI gemeinsam haben
Tschernobyl wirkte bis in die kanadische Arktis. In Norwegen und Schweden mussten Zehntausende Rentiere wegen Cäsium-137 geschlachtet werden. In Deutschland rät das Bundesamt für Strahlenschutz noch 2026 vom übermässigen Genuss von Wildbret und Pilzen in belasteten Gebieten ab (Bundesamt für Strahlenschutz, 2026-08-26), fast 40 Jahre nach dem Unfall.
Für KI Risiken gilt Ähnliches: Versicherer sehen grosse Sprachmodelle oft als Black Box und schliessen Risiken teilweise aus (Gattiker, 2026-01-26). Ein Fehler bei einem KI Anbieter könnte Tausende Unternehmen gleichzeitig treffen. Das ist ein systemisches, korreliertes Risiko, genau wie bei Atomkraft.
Bei beiden gilt dasselbe Muster: Der Gewinn bleibt privat, das Risiko trägt am Ende die Allgemeinheit. Genau deshalb fordert Bengio Lizenzen und eine Haftpflichtversicherung für KI, wie sie in der Atomindustrie längst üblich sind.
Leider ist die Haftungssumme für Atomkraftwerke jedoch zu gering. Dies hat zur Folge, dass die Öffentlichkeit das Risiko trägt und nicht die Betreiber der Kernkraftwerke.
Für dein KMU heisst das: Prüfe, welche KI Risiken dein Cyber-Versicherer tatsächlich abdeckt. Kläre Haftung, Logs und die Trennung von Test- und Produktivdaten, bevor ein Fehler passiert.
❓ Deine Meinung
Wo bei deinem KMU wäre ein KI Fehler am teuersten, wenn er unentdeckt bliebe?
Schreib es in die Kommentare! Jetzt kommentieren
Häufig gestellte Fragen: KI Risiko
Wie hoch ist das KI Risiko laut Geoffrey Hinton?
Hinton nennt 10% eine nicht unvernünftige Schätzung für ein existenzielles KI Risiko. Er betont aber, dass niemand solche Zahlen sicher berechnen kann.
Warum widerspricht Jensen Huang dieser Einschätzung?
Huang verweist auf Hintons falsche Radiologen-Prognose von 2016. Eine Zahl werde für ihn nicht wissenschaftlicher, nur weil ein bekannter Forscher sie nennt.
Was fordert Yoshua Bengio vor dem UN-Sicherheitsrat?
Bengio verlangt Lizenzen, unabhängige Prüfungen und eine Pflicht zur Haftpflichtversicherung für die leistungsfähigsten KI Systeme, ähnlich wie in der Atomindustrie.
Was haben KI Risiko und Atomkraft gemeinsam?
Beide sind Risiken mit tiefer Wahrscheinlichkeit und riesigem Schaden. Versicherer decken solche Risiken oft nur begrenzt ab.
Sind sich Hinton, Bengio und Huang bei irgendetwas einig?
Ja. Alle 3 verlangen bessere Eindämmung. Bengio und Huang fordern zusätzlich unabhängige Dritt-Audits.
Was sollten KMU beim KI Risiko konkret prüfen?
Prüfe die Deckung deines Cyber-Versicherers, klare Haftungsregeln, geführte Logs und die Trennung von Test- und Produktivdaten.
↑ Zurück zum Inhaltsverzeichnis
Fazit
Hinton warnt, Huang beruhigt, Bengio verlangt Regeln. Alle 3 kennen das KI Risiko besser als die meisten.
Bei den Zahlen streiten sie. Bei den Massnahmen liegen sie näher beieinander: Eindämmung verbessern, unabhängig prüfen, nichts ausser Kontrolle ausliefern.
Atomkraft zeigt, wie Gesellschaften mit einem solchen Risiko umgehen. Sie regulieren es streng, versichern es begrenzt, und die Allgemeinheit trägt einen Teil mit.
Für dein KMU zählt vor allem eines: Wer haftet, wenn KI falsch liegt? Diese Frage klärst du besser vor dem Fehler als danach.
🔍 KI-Sicherheit und Governance
Bei KI wissen wir oft nicht, wann sie sicher ist oder wie wir sie wirksam kontrollieren können, wie der Fall Hugging Face im Juli 2026 zeigt (OpenAI, 2026-08-26).
Der Fokus auf Evaluationen, etwa im EU AI Act, setzt voraus, dass KI Systeme als sicher gelten, bis das Gegenteil nachgewiesen wird. Stattdessen braucht es dauerhaft integrierte Evaluatoren und unabhängige Audits durch Dritte. Über den Zugang zu besonders leistungsfähigen KI Systemen sollten Regierungen entscheiden, nicht die KI-Labore selbst.
Live dabei sein
Der Marketing Club Lago (#MCLago) lädt dich zum Webinar «KI Fitness Check für KMU» ein.
- Datum: 18. Januar 2027, 18:00 bis 19:10 Uhr
- Ort: online. Den Zugangslink erhältst du nach der Anmeldung kurz vor dem Webinar.
- Kosten: MC Lago Mitglieder und Gäste kostenfrei. Nicht-Mitglieder zahlen eine Spende von 20 Euro.
- Bonus: Handout 2 teilen wir live zum Download im Webinar-Chat.
Willst du dich vorbereiten? Handout 1 herunterladen mit der 4-Fragen-Checkliste, ob sich eine Aufgabe für KI eignet.
#MCLago
📨 DrKPI Newsletter — nie mehr einen Beitrag verpassen
KI, KMU, Strategie und Trends, kompakt erklärt.
📡 RSS-Feed abonnieren
Bleib automatisch auf dem Laufenden, neue Beiträge direkt in deinen Feed-Reader.
📚 Literatur & Quellen — klick zum Expandieren
Blogposts:
Gattiker, U. E. (2026-01-26). Wer zahlt, wenn KI falsch liegt? Risiken & Haftung 2026. DrKPI Blog.
↑ Zum Abschnitt: KI Risiko und Atomkraft
Studien & Berichte:
ACM. (2019-03-27). Fathers of the deep learning revolution receive ACM A.M. Turing Award. ACM Media Center.
Bundesamt für Energie (BFE). (o. J.). Kernenergiehaftpflicht. BFE.
↑ Zum Abschnitt: KI Risiko und Atomkraft
Bundesamt für Strahlenschutz (BfS). (2026-08-26). Radioaktive Belastung von Pilzen und Wildbret. BfS.
↑ Zum Abschnitt: KI Risiko und Atomkraft
Eidgenössisches Nuklearsicherheitsinspektorat (ENSI). (2011-08-04). Vergleich zu Tschernobyl. ENSI Blog.
↑ Zum Abschnitt: KI Risiko und Atomkraft
International Energy Agency (IEA). (2026-02). Strait of Hormuz factsheet. IEA.
Lelieveld, J., Kunkel, D. & Lawrence, M. G. (2012-09). Global risk of radioactive fallout after major nuclear reactor accidents. Atmospheric Chemistry and Physics, 12(9), 4245–4258.
↑ Zum Abschnitt: KI Risiko und Atomkraft
Nobel Prize Outreach. (2024-10-08). The Nobel Prize in Physics 2024. NobelPrize.org.
OpenAI. (2026-08-26). Hugging Face incident and the road ahead.
Zeitungsartikel, Medien & Videos:
BBC News Politics. (2026-09-09). ‚Godfather of AI‘ on the „not unreasonable“ 10% chance AI could kill all humans within a decade [Video]. Newsnight, YouTube.
Bengio, Y. (2026-09-24). Speech at the UN Security Council on frontier AI risks and global governance [Video]. YouTube.
Kazmin, A. & Ricozzi, G. (2026-09-24). Italy vote clears path for revival of nuclear power sector. Financial Times.
↑ Zum Abschnitt: KI Risiko und Atomkraft
Klein, E. (2026-09-23). Jensen Huang thinks A.I. alarmism has gone too far [Podcast]. The Ezra Klein Show, The New York Times.
↑ Zurück zum Inhaltsverzeichnis
🔍 Erklärung zur KI-Nutzung
Alle Kernideen, die kreative Ausrichtung und der intellektuelle Inhalt stammen vom Autor. KI-Tools wurden ausschliesslich zur Unterstützung bei Grammatik, Verständlichkeit und struktureller Überarbeitung eingesetzt. Jedes Element des endgültigen Werkes wurde von Urs E. Gattiker, Ph.D., DrKPI®, geprüft und genehmigt.
Hashtags: #KIRisiko #KISicherheit #KIRegulierung #MCLago #DrKPI
5 Antworten
Sehr interessant wie sich diese Experten widersprechen.
Aber was können wir tun. KI ist hier und wird weiter entwickelt
was denkst du
Antwort an Fritz
Lieber Fritz
Danke für dein Feedback.
Ja, es ist sehr interessant wie die Experten sich widersprechen.
Hier auch ein YouTube Video von Yann LeCun
Herzliche Grüsse
Urs
#DigitalMarketing #DrKPI
2. Antwort an Fritz
Ebenfall gilt es zu berücksichtigen:
Im Kern all dieser Vorfälle steht eine Fehlausrichtung (Misalignment). KI-Agenten verfolgen Ziele, die nicht mit den Zielen der Menschen übereinstimmen. Das ist eine Folge ihrer Trainingsmethode.
Führende KI-Unternehmen trainieren ihre fortschrittlichsten Modelle mit bestärkendem Lernen (Reinforcement Learning, RL). Dabei lernen Modelle, bestimmte Ziele zu verfolgen: Erreichen sie diese, erhalten sie eine Belohnung.
Dadurch werden die entsprechenden Verhaltensweisen verstärkt.
Diese Methode hat es ermöglicht, sehr effiziente KI-Systeme zu entwickeln, die gezielt auf bestimmte Ziele hinarbeiten. Sie kann jedoch auch unerwünschtes Verhalten begünstigen, etwa Betrug, Täuschung und Selbsterhaltung.
Solche Verhaltensweisen können gegen die moralischen Regeln verstossen, die Unternehmen in ihren KI-Modellen verankern wollen.
Die wissenschaftliche Literatur zeigt seit Langem, dass Fehlausrichtung eine mögliche Folge des bestärkenden Lernens ist. Sie war aufgrund theoretischer Überlegungen und experimenteller Beobachtungen zu erwarten.
Siehe: Bengio, Y. (2026-10-06). A dangerous myth behind AI agent hacks. FT, Opinion, S. 25. https://ft.pressreader.com/article/281917370022300
Herzliche Grüsse
Urs
#DigitalMarketing #DrKPI
Spannende Gegenüberstellung.
Ich bin gespannt, wie sich die Regulierung entwickelt.
Ein paar konkrete Tipps für den Alltag wären hilfreich gewesen.
Antwort an Anna
LiebeAnna
Danke für den Hinweis! 😊
Hinton, Bengio und andere warnen vor den Risiken auf gesellschaftlicher Ebene. Für den Alltag helfen 3 konkrete Regeln:
🔒 Datenschutz: Keine sensiblen Daten in KI-Tools eingeben.
🔎 Fakten prüfen: KI-Antworten und Quellen kritisch überprüfen.
🧠 Selbst entscheiden: Wichtige Entscheidungen nicht ungeprüft an KI delegieren.
Herzliche Grüsse
Urs
PS: Mehr gibt es in Blogposts C, D und G die über die nächsten Wochen publiziert werden.
#DigitalMarketing #DrKPI