214 - Weight-Space Programming

Ein Sprachmodell liest die Gewichte eines anderen Modells, ändert gezielt ein paar davon, und dessen Ergebnis in Mathe versechsfacht sich. Wir schauen uns das MIT-Paper „Sparks of Weight-Space Programming“ an, in dem GPT-6 Astra die Gewichte von Qwen 3.5 bearbeitet hat, und fragen, was davon wirklich neu ist. Von dort geht es zur Grundfrage: Wie findet man in einem neuronalen Netz überhaupt ein Konzept?Was Astra bei Qwen geändert hat, warum es bei Gemma nicht geklappt hat und was die Kritiker sagenWarum Konzepte nicht in einzelnen Neuronen stecken, sondern als Richtungen, und was Superposition damit zu tun hatSparse Autoencoder, Difference of Means und Steering: wie man ein Konzept wie die Golden Gate Bridge selbst findet und in welcher Schicht man suchtKennt ein Modell mich? Was der Test mit dem eigenen Namen zeigt und wo er täuschtWie groß ein neuronales Netz für eine Aufgabe sein mussQuellen: rikiyat.github.io/blog/weight-space-programmingDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Muss man wirklich alles nachrecherchieren, was ein Sprachmodell behauptet? Für unseren nächsten Workshop gehen wir durch, woher Halluzinationen kommen, wie gut die Modelle heute sind und was im Prompt und im Harness dagegen hilft. Dazu kommen die Ergebnisse unseres eigenen Pilotversuchs mit einundzwanzig Fragen, fünf Modellen und knapp zweitausend Läufen. Am Ende steht kein Angstszenario, sondern ein Prüfplan.Warum ein Sprachmodell Plausibles statt Wahres erzeugt, und was Training und Gefälligkeit damit zu tun habenDer aktuelle Stand: warum es nicht die eine Halluzinationsrate gibt und was Vectara und der Stanford AI Index messenWas im Prompt hilft und wie wenig ein erlaubtes „Weiß ich nicht“ in unserem Test gebracht hatVier Hebel im Harness: Grounding, Belegpflicht per Code, Verifizierer und KonsistenzprüfungUnser Experiment mit und ohne Websuche, seine Grenzen und eine Klima-Recherche als PraxisbeispielDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Das beste Gedächtnis für einen Agenten ist vielleicht eins, an das der Agent gar nicht denken muss. Im vierten Teil unserer Memory-Reihe geht es um Honcho von Plastic Labs: einen Server, der die Gespräche mitliest und im Hintergrund ein Bild davon aufbaut, wer du bist und wie du arbeitest. Wir gehen der Reihe nach durch, wann ausgewertet wird, was hineinkommt, wo und wie es gespeichert wird, wie aufgeräumt wird und wie das Wissen zurück zum Agenten kommt. Grundlage sind ein Vorgespräch mit unseren Fragen und unsere Code-Analyse von Honcho und seinem Plugin für die DeepSeek Harness.Beobachten statt selbst merken: warum das gerade kleinen Modellen hilft und warum man Arbeitsmodell und Erinnerungsmodell getrennt wählen kannDer Deriver: ausgewertet wird erst ab 512 Tokens, mit einem einzigen Aufruf, und warum das Modell dafür ohne Thinking laufen sollteWas hineinkommt und über wen Schlüsse gezogen werden: Werkzeugaufrufe, Agentenantworten als Kontext, der Agent als eigener PeerPostgres mit pgvector, Freitext statt Schema, die Peer Card und das Dreaming, das nachts aufräumt und Muster ableitetAbrufen per Kontextpaket, per Frage an Honcho oder automatisch durch den Harness, dazu drei Tipps für den EinsatzDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Kolibri, das Modell von Aleph Alpha, braucht in voller Genauigkeit 156 Gigabyte. Quantisieren rechnet es kleiner, indem die Gewichte auf ein gröberes Raster gerundet werden. Wir haben das noch nicht selbst gemacht, wollen es aber auf unserem DGX Spark und unserer Workstation mit RTX 4090 ausprobieren. In dieser Folge geht es darum, was dabei technisch passiert, was man vorher entscheiden muss und woran man hinterher misst, ob das Modell noch dasselbe kann.Was beim Runden passiert: Blöcke, Skalierungsfaktor, Rundungsfehler und warum Ausreißer das Kernproblem sindDie drei Entscheidungen: wie viele Bits, wie große Blöcke, mit oder ohne Kalibrierdaten (imatrix, GPTQ)Was man vom Basismodell braucht: das Original in voller Genauigkeit, ein Werkzeug, das die Architektur kennt, und welche Teile nicht gerundet werden dürfenGGUF oder NVFP4: das Format folgt aus der Maschine, auf der das Modell später läuftMessen in drei Ebenen: KL-Divergenz, Benchmarks und die eigene Aufgabe, mit Flips und getrennt geprüften WerkzeugaufrufenDie Zahlen zu fertigen Kolibri-Fassungen stammen aus der Community, vor allem aus der Modellkarte von mittwald. Die Dauer auf dem Spark ist unsere Schätzung.Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Wie setzt man ein Experiment mit einem Coding-Agenten auf, und woran sieht man hinterher, was er wirklich getan hat? Wir haben uns RecreationWorld auf den Mac gestellt, das Repo vom Team hinter den Qwen-Modellen mit dem Prüfstand RecreationBench, und OpenCode mit unserem eigenen Qwen darauf laufen lassen. Die Folge erklärt das Repo, unseren Aufbau mit seinen Stolpersteinen und die Auswertung eines Laufs. Die Note gilt für eine einzige Aufgabe mit unserem eigenen Judge und ist nicht mit der offiziellen Rangliste vergleichbar.Was RecreationBench ist: 250 Nachbau-Aufgaben, versteckte Funktionstests und ein Sprachmodell als SchiedsrichterEinen fremden Prüfstand nutzen: den Vertrag nachbilden statt umbauen, Abschottung und vier StolpersteineWas zu einem Experiment gehört, vom eingefrorenen Auftrag bis zum Kontrollfall vor dem ersten LaufDen Agenten beobachten: Modell-Log, Werkzeugaufrufe, Kopien des Arbeitsordners und Notizen des Modells, ähnlich wie in unserer AgentenwerkstattAuswerten mit Fragen statt mit der Note, und was ein Stop-Hook gegen die gefundenen Fehler tun könnteDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Für diese Folge wollten wir nachsehen, warum wir im August eine Funktion an unseren alten Stimmen wieder gelöscht haben. Die Gespräche dazu gibt es nicht mehr: Unser Coding-Agent hebt seine Sitzungen ab Werk nur dreißig Tage auf. Im dritten Teil unserer Memory-Reihe geht es um die Suche über alte Gespräche, also RAG über die eigenen Sitzungen. Was muss man aufheben, wie wird es durchsuchbar, wer stößt die Suche an, und wo bricht sie? Grundlage sind unsere Code-Analyse von neun Gedächtnissystemen für die DeepSeek Harness und eine Auszählung unserer eigenen Sitzungsverläufe.Notizbuch oder Episoden: Fakt gegen Hergang, und woran man merkt, dass man das Warum von damals brauchtWas in einer Sitzung wirklich steht: 86 Prozent Werkzeugergebnisse, gut ein Prozent Antworten, und warum man vor dem Speichern verdichtetWie gesucht wird: Stichwort- und Bedeutungssuche zusammen, das Datum als eigenes Feld, Abruf in drei Stufen bis zum OriginalgesprächAutomatisch vor jedem Turn oder als Werkzeug: was memsearch und MemOS tun und was das im Kontext kostetWo es bricht: Überholtes landet oben, deutsche Fragen, Schlüssel im Index, und wie man trotzdem damit bautDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Eine Folge in eigener Sache: Wer uns regelmäßig hört, hat gemerkt, dass wir seit zwei Wochen anders klingen. Wir erzählen, warum wir von ElevenLabs zu Gemini TTS gewechselt sind und warum die Expertin zwischendurch ins Englische gerutscht ist. Dazu echte Erfahrungswerte aus zwei Projekten: Qwen 3.8 Flash mit Strata auf unserer eigenen Workstation und eine komplette Videostaffel zur Geschichte der KI, die ein Agent für uns produziert hat – samt einer teuren Nacht.Neue Stimmen: Gemini TTS über OpenRouter, eine Szene pro Aufruf, und was gegen das Englisch geholfen hatQwen 3.8 Flash mit Strata auf einer RTX 4090: 110 bis 120 Tokens pro Sekunde, und ein Agent, der eine Stunde lang selbstständig eine Dokumentensuche aufbautZwanzig Videofolgen, über sechs Stunden, in rund zwei Tagen: Buch, Bilder mit Qwen Image, Clips mit MiniMax H3, Schnitt und Upload – alles von Claude Code. Zu sehen auf unserem YouTube-Kanal KI SuperheroesWas passiert, wenn ein Agent sich sein Modell selbst aussuchtNeu auf building-agents.com: ein Deep Dive zu Wissensgraphen mit Experiment und die Inhalte unserer Ausbildung zum Harness Engineering: https://building-agents.comDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Wait, but, alternatively: Reasoning-Modelle zweifeln beim Nachdenken gern noch eine Runde länger, als nötig wäre. Qwen 3.8 mit 27 Milliarden Parametern steht ab Werk auf der höchsten Denkstufe, und auf der eigenen Hardware ist jedes zusätzliche Token Wartezeit. Wir haben uns drei Fine-Tunes angesehen, die genau daran sparen wollen: ThinkingCap, Swift 1.5 und QwenPi, das sogar auf einen einzigen Agenten-Harness zugeschnitten ist. Grundlage sind Herstellerangaben und unabhängige Tests, selbst getestet haben wir noch nicht.Warum Modelle überhaupt zu lange denken: Belohnung für richtige statt kurze Antworten, „Wait“ als antrainierter Zweifel, und warum Quantisierung es schlimmer machtWarum der Effort-Regler kein Ersatz ist: Medium spart die Hälfte und kostet gut neun ProzentpunkteDrei Wege, ein Ziel: konservativ mit geheimem Rezept, bestrafte Zweifelwörter, geordnete Denkstufen für den Pi-HarnessWas von den Schlagzeilen bleibt, wenn man genauer hinsieht, und warum bei Agenten nur Tokens und Zeit pro gelöster Aufgabe zählenDer zweite Hebel, die Inferenz-Engine, und die Lizenzfrage für den MittelstandDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Eine Markdown-Datei pro Erinnerung und ein Inhaltsverzeichnis darüber: Mehr steckt hinter dem Gedächtnis unseres Coding-Agenten nicht. Im zweiten Teil unserer Memory-Reihe geht es um die Fragen drumherum. Wann liest der Agent aus seinem Notizbuch, wie findet er das Richtige, wann schreibt er hinein, und wer entscheidet das eigentlich: das Modell, der Harness oder beide? Grundlage sind unsere Code-Analyse von neun Gedächtnissystemen für die DeepSeek Harness und das Notizbuch, das unser eigener Coding-Agent seit August führt.Die Mechanik: ein Index, der zu Sitzungsbeginn geladen wird, und Dateien, die das Modell selbst öffnet, ganz ohne Suche und EmbeddingsWer schreibt: das Modell nach einer Anleitung im System-Prompt, der Harness als Anstoß oder der Harness alleinWas der Prompt-Cache damit zu tun hat und warum ein Index im System-Prompt in langen Sitzungen teuer wirdSub-Agenten im Notizbuch: lesen ja, schreiben nein, und warum das Gedächtnis auch ein Sicherheitsthema istEin ehrlicher Blick in unser eigenes Notizbuch: eine Indexzeile mit über dreitausend Zeichen, Widersprüche, veraltete Einträge, und wie man es besser pflegtDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Was ist ein Knowledge Graph eigentlich, und ist das überhaupt neu? Wir erklären, woraus so ein Graph besteht, worin er sich von einer relationalen Datenbank und einer Vektordatenbank unterscheidet und warum die Idee gut sechzig Jahre alt ist. Dann geht es um die Fragen, an denen die meisten Projekte hängen bleiben: Woher weiß man, welche Arten von Knoten man braucht, und wer entscheidet, welches Wissen hineinkommt?Knoten, benannte Kanten und das Tripel aus Subjekt, Prädikat und Objekt, dazu was eine Ontologie istVon semantischen Netzen und Cyc über Googles „Dinge statt Zeichenketten“ bis GraphRAG: was die Sprachmodelle wirklich verändert habenKompetenzfragen als Bauplan: aus Substantiven werden Knotentypen, aus Verben Kanten, und die typischen Fehler beim ModellierenWas hineinkommt: Rang der Quellen, Stammdaten als Rückgrat, Zusammenführen, Herkunft an jeder Kante und zwei Zeiten je FaktTechnik: RDF gegen Property Graph, wie die Frage in den Graphen kommt, GraphRAG, LazyGraphRAG, LightRAG und Graphiti, und wann sich ein Graph überhaupt lohntDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.