RZ107 – Hacking-LLMs

In Folge 112 geht es heute um die 112. Mit Justin aus unserem Institut, selbst bei der Freiwilligen Feuerwehr, sprechen wir über Ehrenamt und Berufsfeuerwehr, Bürokratie und Digitalisierung im Einsatz. Wir fragen auch, warum im Ahrtal der Digitalfunk an weggespülten Brücken scheiterte. Und wann ruft man eigentlich die Feuerwehr? Lieber einmal zu früh als einmal zu spät. Vorher blicken wir auf einen wilden Oktober mit der PHP-Lücke zurück und stellen die Frage, ob dank KI-Reverse-Engineering inzwischen alle Software Open Source ist.

Nach all den Beweisen in der Mathematik ist es fast folgerichtig, dass sich die KI-Unternehmen der Kryptographie zuwenden werden, denn nur in wenigen Bereichen hängen so viele vertrauliche Informationen bzw. Vermögenswerte an so viel purer Mathematik und an der Möglichkeit, bislang unbekannte, effizientere Lösungen zu finden. Deswegen war es geradezu verdächtig, dass hier bisher so wenig publiziert wurde. Nun macht Anthropic mit der Analyse der Herkunft bekannter ECDSA-Kurven den Anfang. Fast schon Randnotizen sind dabei die High-Severity-curl-Lücke sowie die aktuellen KI-unterstützten Schwachstellenanalysen.

In der heutigen Episode ist Prof. Dr. Wilfried Honekamp zu Gast. Er ist Professor für Polizeitechnik an der Deutschen Hochschule der Polizei und Gründungsmitglied des ISMK. Er berichtet von seinem beruflichen Werdegang, der ihn von der Bundeswehr über Medizininformatik und DevOps zur Polizeiforschung geführt hat. Es geht in der heutigen Folge unter anderem um die Frage, ob sogenannte Guardrails in KI-Modellen wirklich vor Missbrauch schützen oder nur Gelegenheitstäter abschrecken. Andreas berichtet von seinem Selbstversuch mit einem unzensierten lokalen Modell und Wilfried von Experimenten mit Studierenden sowie einem Louvre-Einbruchsplan, der aus einem Sprachmodell stammt. Darüber hinaus diskutieren wir, wie Kriminalität entsteht, wie viel Freiheit und Sicherheit sich ein Rechtsstaat leisten kann und warum es das Polizeitechnische Institut und die Deutsche Hochschule der Polizei überhaupt gibt.

In der heutigen Episode führen wir in die Grundlagen der Mesh-Technologie ein.

In der heutigen Episode geht es um aktuelle Nachrichten, u. a. den Angriff auf die IT-Systeme der Berliner Verwaltung und den mutmaßlichen Bezug zum TerminalFix-Angriff, dem anstehenden Warntag und die "AI-Apokalypse" in Form von Wiki-Spam.

Können LLMs wirklich hacken? In den Medien wird viel über die Vorfälle von Antrophic und OpenAI diskutiert. Andreas hat sich einmal das Open-Source-LLM Qwen in der unzensierten Version angeschaut und ist sichtlich überrascht über die Ergebnisse.

Andreas hat OpenCode ausprobiert und deswegen reden wir heute über die Auswirkungen von Coding-Agenten auf die Softwareentwicklung. Wie sicher sind die Programme? Kann ein LLM unsicheren Code einem unterjubeln? Wie verändert sich das Reverse Engineering durch KI? Darüber hinaus geht es um den Erfahrungsbericht, wie Mozilla LLMs für Bug Hunting in den Griff bekommt.

Eigentlich sollte es ganz einfach sein: Ein Zertifikat wird kompromittiert oder fälschlicherweise ausgestellt, die Zertifizierungsstelle (CA) zieht es zurück und die Sache ist erledigt. Die Realität? Sieht völlig anders aus. In unserer heutigen Episode nehmen wir den aktuellen Fall rund um die HARICA-Zertifikate unter die Lupe. Die CA hat betroffene Zertifikate ordnungsgemäß widerrufen - doch wer bestimmte Browser nutzt, merkt davon überhaupt nichts. Das Schloss für die sichere Verbindung wird angezeigt, als wäre nichts gewesen. Warum ist das so? Wie sicher ist HTTPS noch, wenn Browser die Notbremse der PKI einfach ignorieren? Und wie könnte TLSA Abhilfe schaffen?

In der heutigen Episode reden wir über zwei unterschiedliche Vorstellungen davon, wem ein Computer eigentlich gehört. Zuerst schauen wir auf das Oxygen-Rivival von KDE und diskutieren über die Desktop-Umgebung und ihre Konfigurierbarkeit. Es geht auch um die Abwägung zwischen Konfigurierbarkeit und Sicherheit, denn mit jeder Option kommen auch zu testende Code-Pfade hinzu. Danach der Gegenentwurf: Mobile Systeme, in denen traditionell kein Root-Zugang standardmäßig an Bord ist. Androids neue Developer Verification ist hier besonders kontrovers, da sie einerseits als Sicherheitsgewinn und andererseits als Ende des Sideloadings heraufbeschworen wird. Zwei System, zwei Antworten auf die gleiche Frage: Wie viel Kontrolle traut man dem Nutzer zu?

Wir beginnen diese Episode mit einigen funktechnische Grundlagen, da wir beide LoRa für uns entdeckt haben. Anschließend geht es um wilde Bug in VPN- und SSH-Systemen, wodurch wir uns die Frage stellen, wie groß und nachhaltig tatsächlich der Einfluss von KI auf die Softwaresicherheit bleibt. Aber auch an klassischen Störungen mangelt es nicht, wie der erneute GSM-R-Ausfall zeigt.