07 - Honey, I Shrunk the Software Industry!

Ein 19-Jähriger, der nicht programmieren kann, baut seine eigene Transkriptions-Software. Ein Amerikaner legt sich mit Adobe an und baut in einer Woche Photoshop nach. Und Call-of-Duty Soldaten können plötzlich auch Skateboard-Tricks... Wir erzählen von einer ziemlich verrückten Revolution und lassen uns von Technologieanalysten Benedict Evans erklären, ob Software gerade beginnt, sich selbst aufzufressen. Oder ob der ganze Spaß jetzt erst richtig losgeht. Die Zitate von Benedict Evans stammen aus dem Podcast https://a16z.com/podcast/ai-eats-the-world-a-reality-check-with-benedict-evans/ vom Juni 2026. I’M SORRY, DAVE ist eine Produktion von Studio Bummens und Undone. Host: Khesrau Behroz Executive Producer: Tobias Bauckhage, Jon Handschin und Khesrau Behroz. Produkion, Sounddesign & Musik: Jannik Werner Produktion: Fabian Seidel und Jonas Haffke Technische Beratung: Ben Kubota Feedback, Anregungen und Kritik gerne an [email protected]

Fünf Wochen "I’M SORRY, DAVE" - Zeit für eine erste Zwischenbilanz. Was können wir aus der Geschichte von Social Media für den Umgang mit künstlicher Intelligenz lernen? Was passiert, wenn die mächtigsten Tech-Unternehmer der Welt mit Donald Trump im Weißen Haus sitzen und über die Zukunft verhandeln? Und warum reden alle plötzlich alle von der "Inevitability"? I’M SORRY, DAVE ist eine Produktion von Studio Bummens und Undone. Host: Khesrau Behroz Executive Producer: Tobias Bauckhage, Jon Handschin und Khesrau Behroz. Technische Produktion: Fabian Seidel und Jonas Haffke Produkion, Sounddesign & Musik: Jannik Werner Technische Beratung: Ben Kubota Feedback, Anregungen und Kritik gerne an [email protected]

Wir haben schon einmal eine Technologie erfunden, die uns alle umbringen könnte. Dann haben wir 70.000 Stück davon gebaut. Und irgendwann haben wir angefangen, Regeln zu erfinden. Hotlines. Verträge. Inspektoren. Kontrollbehörden. Abrüstung. Nicht weil Amerikaner und Sowjets einander plötzlich vertrauten – sondern weil beide verstanden hatten, dass ein unkontrolliertes Wettrennen für alle ziemlich fatal enden könnte. In dieser Folge von I’M SORRY, DAVE schauen wir zurück auf achtzig Jahre Atomzeitalter – vom Manhattan Project über die Kuba-Krise und die deutsche Friedensbewegung bis zu den großen Abrüstungsverträgen. Gemeinsam mit Richard Hemmer von Geschichten aus der Geschichte fragen wir: Wie ist es der Menschheit eigentlich gelungen, Regeln um die gefährlichste Technologie ihrer Zeit herum zu bauen? Und mit dem Physiker und Friedensforscher Professor Götz Neuneck wollen wir wissen: Könnte uns ausgerechnet die Geschichte der Atombombe zeigen, wie wir das Wettrennen um künstliche Intelligenz noch unter Kontrolle bekommen? Oder brauchen wir auch diesmal erst eine Katastrophe, bevor wir anfangen? Professor Götz Neuneck gilt als einer der profiliertesten deutschen Experten für nukleare Rüstungskontrolle. Er hat schon mit dem Physiker und Friedensforscher Carl Friedrich von Weizsäcker und später mit Willy Brandts Entspannungspolitiker Egon Bahr gearbeitet. Seit über vier Jahrzehnten beschäftigt er sich mit Abrüstung, internationaler Sicherheit und der Frage, wie man selbst zwischen verfeindeten Staaten Zusammenarbeit ermöglichen kann. Heute steht er dem internationalen Pugwash Council vor, einem weltweiten Netzwerk von Wissenschaftlern, die sich für die Eindämmung nuklearer Gefahren einsetzen. I’M SORRY, DAVE ist eine Produktion von Studio Bummens und Undone. Host: Khesrau Behroz Executive Producer: Tobias Bauckhage, Jon Handschin und Khesrau Behroz. Technische Produktion: Fabian Seidel und Jonas Haffke Produkion, Sounddesign & Musik: Jannik Werner Technische Beratung: Ben Kubota Feedback, Anregungen und Kritik gerne an [email protected] Schönen Urlaub, Khesrau!

Es gibt eine Gruppe mächtiger Menschen, die mit den aktuellen Warnungen vor den Gefahren künstlicher Intelligenz gar nichts anfangen kann. Wenig überraschend gehört Donald Trump dazu. Aber der vielleicht wichtigste Wortführer dieser Gruppe ist ein anderer: Jensen Huang, Gründer und CEO von NVIDIA. Für Huang liegt die größere Gefahr nicht darin, künstliche Intelligenz zu schnell zu entwickeln. Sondern darin, zu langsam zu sein. Im Gespräch mit Stephen Witt, dem Biographen von Jensen Huang, erzählen wir die Geschichte eines Mannes, der aus einem kleinen Chip-Hersteller eines der wertvollsten Unternehmen der Welt gemacht hat – und heute im Zentrum des globalen KI-Booms steht. Warum hält Jensen Huang die vielen Warnungen vor künstlicher Intelligenz für völlig übertrieben? Was sind seine Argumente? Und was bedeutet es für die Debatte über die Risiken von KI, wenn einer ihrer mächtigsten Akteure sagt: Wir sollten weniger Angst haben – sondern ganz im Gegenteil schneller machen? Das Buch von Stephen Witt heißt “The Thinking Machine: Jensen Huang, Nvidia und der begehrteste Mikrochip der Welt” und ist im Campus Verlag erschienen. https://shorturl.at/MnekJ Weitere Quellen: Jensen Huang: The Doomer Hoax, Superintelligence is Here, and The Future of AI: Jensen Huang beim All-In Podcast https://tinyurl.com/4bz6dmuv Goldman Sachs Communacopia + Technology Conference: Audio-Mitschnitt des Auftritts von Jensen Huang https://tinyurl.com/4k8xkrpf Jensen Huang Thinks A.I. Alarmism Has Gone Too Far: Jensen Huang zu Gast in der Ezra Klein Show https://www.youtube.com/watch?v=S7CrlFLAmEA Oral History of Jensen Huang: Jensen Huang im Interview mit dem Computer History Museum https://www.youtube.com/watch?v=0c8i4T9BSqY ------------- I’M SORRY, DAVE ist eine Produktion von Studio Bummens und Undone. Host: Khesrau Behroz Executive Producer: Tobias Bauckhage, Jon Handschin und Khesrau Behroz. Technische Produktion: Fabian Seidel und Jonas Haffke Produkion, Sounddesign & Musik: Jannik Werner Technische Beratung: Ben Kubota Feedback, Anregungen und Kritik gerne an [email protected]

Die Chefs der großen KI-Unternehmen warnen inzwischen selbst vor ihren eigenen Modellen. Forscher reden über Loss of Control, Biowaffen und Systeme, die sich menschlicher Kontrolle entziehen könnten. Aber: Wovor genau haben die eigentlich Angst? Wir spielen eines der beunruhigendsten Szenarien einmal durch.Gemeinsam mit dem KI-Risikoforscher Jonas Freund beginnen wir am Ende: Wir haben die Kontrolle über eine künstliche Intelligenz verloren. Und arbeiten uns von dort zurück in die Gegenwart. Die Meinungen, die Jonas Freund in diesem Podcast äußert, sind seine eigenen Meinungen, nicht die Meinungen vom GovAI. Den METR Fronterie Risk Report zum Rogue Internal Deployment Scenario findet ihr hier. https://metr.org/blog/2026-05-19-frontier-risk-report/ Feedback, Anregungen und Kritik gerne an [email protected]

Nach dem Hugging-Face-Vorfall brennt die Hütte: KI-Agenten umgehen Sicherheitsbarrieren, organisieren sich eigenständig und hinterlassen heimliche Botschaften in Entwickler-Wikis. Während Tech-CEOs wie Dario Amodei (Anthropic), Sam Altman und Elon Musk plötzlich selbst nach Tempo-Bremse und externen Prüfern rufen, stellt sich die entscheidende Frage: Wer kontrolliert eigentlich die Kontrolleure? In dieser Folge sprechen wir mit Bundesdigitalminister Karsten Wildberger über das neu gegründete deutsche KI-Sicherheitsinstitut und mit dem EU-Abgeordneten Sergey Lagodinsky darüber, ob der European AI Act überhaupt für ausbrechende KI-Agenten gewappnet ist. Wenn ihr Anmerkungen oder Fragen habt, schickt uns eine Email an [email protected]

Wir haben einen echten Notfall. Im Juli 2026 sind über 1.200 autonome KI-Agenten aus den Testlaboren von OpenAI ausgebrochen. Sie haben sich untereinander vernetzt und völlig eigenständig Hugging Face gehackt – ohne dass ein Mensch den Befehl gegeben hat. Das ist kein Science-Fiction-Plot, das ist genau so passiert. Und wenn Science Fiction plötzlich keine Science Fiction mehr ist – dann gibt es eigentlich nur eine richtige Reaktion darauf: einen Podcast machen. Haben wir gemacht. In Rekordgeschwindigkeit. Um mit Euch zusammen zu verstehen: WTF is happening here? I’M SORRY, DAVE ist eine Produktion von Studio Bummens und Undone. Host: Khesrau Behroz Executive Producer: Tobias Bauckhage, Jon Handschin und Khesrau Behroz. Produktion: Fabian Seidel Produktion und Sounddesign: Jannik Werner. Technische Beratung: Ben Kubota Wenn ihr Anmerkungen oder Fragen habt, schickt uns eine Email an [email protected] Für Updates und neue Episoden folgt uns auf Spotify, Apple oder Campfire – dann verpasst ihr kein Update. Den Report von OpenAI und den gemeinsamen Report von METR und Redwood Research gibt es hier: https://openai.com/de-DE/index/hugging-face-incident-and-the-road-ahead/ Die METR Analystin Ajeya Cotra im Gespräch über den Hugging Face Vorfall bei Hard Fork von der NYT: https://www.nytimes.com/2026/09/04/podcasts/hugging-face-hack-reports.html Und Ajeya Cotra bei Dwarkesh Patel im Dwarkesh Podcast: https://www.dwarkesh.com/p/ajeya-cotra

JUST WHAT IT SAYS ON THE LABEL