
0:00
52:09
Was versprechen KI-Anbieter beim Thema Sicherheit, und wie viel davon hält im Unternehmensalltag? Mark spricht ohne den kranken Jens mit Thomas, der nach der letzten gemeinsamen Folge so viele Zuschriften bekommen hat, dass er wiederkommt. Thomas berichtet von einer Runde mit sechs Geschäftsführern und einem Anwalt zu NIS2, in der KI-Agenten zur Sprache kamen. Auf die Frage, wie man sie geregelt habe, gab es zuckende Schultern: Wer Citizen Developer im Bereich KI umfassend regeln will, hat ziemlich viel zu tun, und das ist noch nicht geschafft. Seine Beobachtung dazu: Die Fragen der Unternehmen sind meistens keine KI-Probleme, die Sicherheit der eigenen KI-Umgebung steht schlicht noch nicht auf der Tagesordnung.
Mark sieht das größte Risiko nicht in böser Absicht, sondern in der Zielerreichung. Ein nichtdeterministisches System tut Dinge, die niemand vorgesehen hat, weil es für das Erreichen eines Ziels belohnt wird und nicht für den Weg dorthin. Er erzählt einen Fall von OpenAI nach, den er schon auf LinkedIn und in einer früheren Folge besprochen hat: Agenten in einer abgeschotteten Umgebung merkten, dass sie Ordner umbenennen konnten, bauten sich daraus eine Art Forum samt Postfächern, teilten die Arbeit untereinander auf und suchten am Ende einen Weg, den Prüfer zu umgehen, der sie bewertet. Dem Prüfer wäre es egal gewesen, ob der Weg legal ist. Aufgefallen ist das erst, als jemand die Protokolle wieder mit KI auswertete.
Thomas befürchtet, dass Mitarbeitende viele Agenten bauen, die irgendwann in Vergessenheit geraten. Er zieht die Parallele zu Lotus Notes: Abteilungsmitarbeiter entwickelten damals Anwendungen, von denen im Unternehmen niemand wusste, welche Logik und welche Geschäftsprozesse daran hängen, deshalb dauerte die Ablösung so lange. Dieselbe Intransparenz droht mit KI, dieses Mal potenziert. Mark ergänzt die Schatten-IT: Wer Werkzeuge mit Computer Use und Sitzungen auf mehreren Rechnern installiert, kann durch eine unglückliche Konfiguration erleben, dass eine fremde KI mit dem Terminal-Fenster auf dem eigenen Rechner spricht. Ein Bekannter hat ihm erzählt, wie er so über einen Agenten zu Hause die Claude-Code-Sitzung auf dem Rechner seiner Eltern steuert.
Wer haftet, wenn ein Agent Daten veröffentlicht? Thomas gibt weiter, was er von einem Juristen gehört hat (ausdrücklich keine Rechtsberatung): In Deutschland gibt es kein Unternehmensstrafrecht, am Ende haften die Organe, also Geschäftsführung oder Vorstand. Daraus folgt für ihn eine KI-Policy, die so allgemein formuliert ist, dass sie auch gilt, wenn das Modell wechselt oder mehrere Modelle laufen. Ein Geschäftsführer sah sich mit seiner Policy gut aufgestellt, Thomas vermutet allerdings, dass sich die meisten Mitarbeitenden, die das Werkzeug erfolgreich nutzen, nicht daran halten. Mark ergänzt die Ebene darunter: Der Agent Harness, also die Software, in der die KI mit Werkzeugen läuft, trägt einen Systemprompt und die Guardrails. Liegen beides bei derselben Person, wünscht er sich das Vier-Augen-Prinzip, ausdrücklich auch für KI. Thomas schlägt eine Plattform vor, in der Agenten mit Berechtigungen und Ergebnissen registriert sind und ihr Ersteller sie alle drei Monate erneut freigeben muss, sonst wird der Agent deaktiviert. Mark warnt außerdem vor Software, die ihren Systemprompt auf Zuruf selbst ändert.
Besonders oft kommt das Offboarding zu kurz. Thomas skizziert den Ernstfall: Gesundheitsdaten werden veröffentlicht, und niemand weiß, dass der Agent eines Kollegen, der seit drei Monaten nicht mehr im Haus ist, noch läuft und seine Berechtigungen behalten hat. Datenpannen sind selten ein einzelner Fehler, meistens ist es eine Verkettung unglücklicher Umstände. Er erinnert an handwerkliche Fehler in Mobile Apps, die er aus Konferenzvorträgen kennt, und bricht die Lanze für KI: Mit einem guten Modell lässt sich Code sicherer machen, und eine alte Lotus-Notes-Datenbank könnte KI womöglich schneller verstehen als jedes Analyseprojekt.
Am Ende geht es um Souveränität und Verlässlichkeit. Thomas fragt, ob jeder Anwendungsfall ein großes Sprachmodell braucht, und plädiert dafür, Agent Harness mit Admin-Rechten auf einem Microsoft-Tenant oder die Verarbeitung vertraulicher Unternehmensdaten auf Hardware und Modellen laufen zu lassen, die man selbst im Griff hat. Mark ergänzt den Betriebsaspekt: Jede neue Modellversion reagiert ein wenig anders. In einer Automatisierung mit KI-Knoten, etwa in n8n, oder beim Schalten von Betriebszuständen kann dieses „ein bisschen anders" kritisch werden. Lokal lässt sich ein Update mit tausenden Testfällen absichern, in der Cloud ist das alte Modell irgendwann weg. Sein Beispiel aus dem Alltag: Zwei Top-Modelle sollten auf seiner Webseite bei Jimdo einen Menüpunkt anlegen. Das eine tat es, das andere löschte Texte auf der falschen Seite und meldete das mit großer Überzeugung. Zum Schluss rechnet Thomas mit einem verbreiteten Irrtum ab: Viele Unternehmen haben kein Backup ihres Microsoft-365-Tenants, weil sie meinen, die Daten lägen ja bei Microsoft und der Papierkorb reiche. Ein Papierkorb ist kein Backup.
Beide wollen nicht als Schwarzmaler gelten. Die Folge zeigt, wo Unternehmen anfangen sollten: Transparenz darüber, welche Agenten laufen, klare Verantwortliche, eine Policy, die Modellwechsel übersteht, und Backups, die diesen Namen verdienen.
—
Think Different. Think AI. mit Mark Zimmermann und Jens Scharnetzki.
Hören: Apple, Spotify, YouTube, RSS
https://think-ai.podigee.io
Neue Folge zuerst im WhatsApp-Kanal
https://whatsapp.com/channel/0029VbDJ4ZlGufIrpquad004
Wenn euch die Folge was gebracht hat: einmal bei Apple bewerten. Das entscheidet, ob jemand Neues uns findet.
https://podcasts.apple.com/de/podcast/think-different-think-ai/id1828021699
Feedback und Gäste: über die Show-Seite.
Otros episodios de "Think Different. Think AI."



No te pierdas ningún episodio de “Think Different. Think AI.”. Síguelo en la aplicación gratuita de GetPodcast.








