Lokale KI – kurz erklärt

Eine normale Suche findet „Urlaub“. Eine Vektordatenbank findet auch „freie Tage“ und „Abwesenheit“. In Folge 7 erkläre ich in genau fünf Minuten und ohne Mathematik, wie das funktioniert – und warum diese Datenbank ins eigene Haus gehört. Lokale Vektordatenbanken (alle Open Source) pgvector – Erweiterung für PostgreSQL Qdrant Chroma LanceDB – z. B. in AnythingLLM enthalten Praxis-Tipp: Fragen Sie Ihre IT: Haben wir schon PostgreSQL? Der Speicherbedarf (10.000 Seiten ≈ 80 MB Vektoren) ist eine eigene Abschätzung. Grafik zur Folge: Die Landkarte der Bedeutungen Kapitel 00:00 Cold Open · 00:30 Begrüßung: Die Uhr läuft · 00:55 Minute 1: Die Landkarte der Bedeutungen · 01:49 Minute 2: Aus Text werden Koordinaten · 02:05 Minute 3: Die Suche nach Nachbarn · 02:46 Minute 4: Welche Datenbank? · 03:19 Minute 5: Wie viel Platz? · 03:48 Worauf Sie achten sollten · 04:46 Praxis-Tipp: Eine Frage an die IT · 05:02 Ausblick auf #08 Links und Quellen Morris u. a. (2023): Text Embeddings Reveal (Almost) As Much As Text BGE-M3: 1.024 Dimensionen, über 100 Sprachen Open WebUI: Konfiguration, u. a. ChromaDB

Fragen Sie eine KI nach Ihrer Urlaubsregelung – und sie erfindet eine. Geben Sie ihr Ihr Handbuch – und sie zitiert die richtige Stelle. In Folge 6 erkläre ich RAG, die Technik hinter „KI mit Firmenwissen“: wie sie funktioniert, warum sie lokal betrieben werden sollte und woran Projekte scheitern. Werkzeuge zum Ausprobieren AnythingLLM Desktop – kostenlose App, läuft komplett lokal Open WebUI – Web-Oberfläche für Ollama mit Wissensbereich Mehrsprachige Embedding-Modelle in Ollama, z. B. bge-m3 oder qwen3-embedding Praxis-Tipp: zehn unkritische Dokumente, zehn Fragen mit bekannter Antwort – dann wissen Sie, ob es trägt. Grafik zur Folge: So funktioniert RAG Kapitel 00:00 Cold Open · 00:32 Begrüßung · 01:02 Das Problem: Die KI kennt Ihr Unternehmen nicht · 02:40 So funktioniert RAG · 03:28 Warum lokal hier besonders zählt · 04:37 Stolpersteine · 05:26 Praxis-Tipp: Zehn Dokumente, zehn Fragen · 06:08 Ausblick auf #07 Links und Quellen AnythingLLM-Doku: LanceDB als lokale Vektordatenbank

Ein Modell mit vier Milliarden Parametern läuft auf jedem Laptop – und ist so gut wie ein Modell, das vor zwei Jahren noch achtzehnmal so groß war. In Folge 5 geht es darum, warum kleine Sprachmodelle so stark geworden sind, für welche Aufgaben sie reichen und wo sie an Grenzen stoßen. Dazu der Größen-Test für Ihre eigenen Aufgaben. Der Größen-Test Gleiche drei Aufgaben (eine E-Mail, eine Zusammenfassung, eine Fachfrage) mit qwen3:4b, gemma4:12b und qwen3.8:27b – das kleinste Modell, das besteht, gewinnt. Die Tempo-Werte in der Folge sind eigene Abschätzungen, keine Messungen. Grafik zur Folge: Tempo auf gleicher Hardware Kapitel 00:00 Cold Open · 00:28 Begrüßung · 00:57 Was ein kleines Modell ist · 02:04 Warum kleine Modelle so gut geworden sind · 03:32 Wofür kleine Modelle reichen · 04:37 Wo sie an Grenzen stoßen · 05:23 Praxis-Tipp: Der Größen-Test · 06:03 Ausblick auf #06 Links und Quellen Qwen3: Qwen3-4B auf dem Niveau von Qwen2.5-72B-Instruct Small Language Models in 2026: 10 to Know (Turing Post) NVIDIA DGX Spark: 273 GB/s Speicherbandbreite Ollama-Bibliothek: neueste Modelle

Zehn Minuten, ein kostenloses Programm – und ein Sprachmodell läuft auf Ihrem eigenen Rechner. Auch dann, wenn Sie das WLAN ausschalten. In Folge 4 installieren wir gemeinsam Ollama, wählen das passende Modell für Ihren Arbeitsspeicher und testen es mit Aufgaben aus dem Alltag. Anleitung Ollama herunterladen: ollama.com/download (Mac ab macOS 14, Windows 10/11, Linux) Installieren – Linux: curl -fsSL https://ollama.com/install.sh | sh Modell starten – in der App auswählen oder im Terminal: ollama run gemma4:12b WLAN aus, weiterfragen: Antwortet das Modell, läuft es lokal. Aufräumen: ollama list · ollama rm <modell> · ollama ps Modelle nach Arbeitsspeicher 8 GB: qwen3:4b 16 GB: gemma4:12b 16–24 GB: gpt-oss:20b ab 32 GB: qwen3.8:27b Achtung: Modelle mit „cloud“ im Namen laufen nicht lokal. Grafiken zur Folge: Die fünf Schritte als Bild · Modelle nach Arbeitsspeicher Kapitel 00:00 Cold Open · 00:40 Begrüßung · 01:20 Was Sie brauchen · 02:40 Schritt für Schritt: Ollama installieren · 05:00 Welches Modell zum Start? · 06:40 Worauf Sie achten sollten · 07:50 Praxis-Tipp: Drei Testaufgaben · 08:50 Ausblick auf #05 Links und Quellen Ollama unter Windows: Voraussetzungen Die Ollama-App mit Chat-Fenster und Drag & Drop

Mini-PC, KI-Box oder Server – und warum eine Gaming-Grafikkarte gerade mehr kostet als ein kompletter KI-Rechner. In Folge 3 geht es um die zwei Kennzahlen, auf die es ankommt: Speicher und Bandbreite. Dazu drei Hardware-Klassen mit aktuellen Preisen, eine Zuordnung nach Unternehmensgröße und der wichtigste Tipp vor dem Kauf. Faustregel: Speicherbedarf ≈ Parameter in Milliarden × 0,6 GB (4-Bit) plus rund 20 % für den Kontext. Preise brutto im Handel, Stand Ende September 2026. Grafik zur Folge: Die drei Hardware-Klassen Kapitel 00:00 Cold Open · 00:40 Begrüßung · 01:20 Worauf es ankommt: Speicher und Tempo · 03:00 Die drei Hardware-Klassen · 04:50 Welche Klasse für wen? · 06:40 Was Sie nicht brauchen · 07:50 Praxis-Tipp: Erst testen, dann kaufen · 08:50 Ausblick auf #04 Links und Quellen GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB) ab 3.799 € NVIDIA DGX Spark: 128 GB, 273 GB/s, 240-W-Netzteil, Modelle bis 200 Mrd. Parameter DGX Spark im Handel ab 5.899 € Mac Studio M5 Ultra 256 GB für 10.999 €, 1,2 TB/s RTX 5090 ab 5.741 € wegen Speicherknappheit RTX PRO 6000 Blackwell 96 GB ab 17.999 €

Cloud-KI kostet pro Kopf, lokale KI kostet einmal – aber ab wann rechnet sich was? In Folge 2 rechnen wir ein Unternehmen mit 20 Nutzern über drei Jahre durch: Lizenzen, Token, Hardware, Strom und Betrieb. Dazu die versteckten Kosten auf beiden Seiten und eine Rechnung, die Sie mit vier Zahlen selbst aufstellen können. Ergebnis: Bei 20 Nutzern ist lokale KI ab Monat 28 günstiger und spart über drei Jahre rund 2.070 €. Bei 10 Nutzern kippt die Rechnung erst nach gut neun Jahren, bei 50 Nutzern mit zwei Geräten ab Monat 16. Alle Preise netto, Stand 30.09.2026. Grafik zur Folge: Break-even: Cloud gegen lokal Kapitel 00:00 Cold Open · 00:30 Begrüßung · 01:28 Was Cloud-KI kostet · 03:35 Was lokale KI kostet · 04:54 Das Rechenbeispiel: 20 Nutzer, 3 Jahre · 06:30 Versteckte Kosten · 07:21 Praxis-Tipp: Ihre Rechnung in vier Zahlen · 07:59 Ausblick auf #03 Links und Quellen ChatGPT Business: 20 $/Nutzer/Monat bei Jahreszahlung, 25 $ monatlich Microsoft 365 Copilot: Business 18,20 €, Enterprise 26,00 € netto Aktionspreis Copilot Business 15,60 € OpenAI API: GPT-6.1 Sol 2 $ Eingabe / 10 $ Ausgabe pro Mio. Token DGX Spark im Handel ab 5.899 € brutto DGX Spark Preiserhöhung von 3.999 $ auf 4.699 $, bei NVIDIA 4.800 € BDEW-Strompreisanalyse August 2026: kleine bis mittlere Industrie 17,2 ct/kWh

Was heißt „lokale KI“ eigentlich – und was ist nur Cloud im neuen Gewand? In Folge 1 geht es um die drei Merkmale lokaler KI, drei Gründe dafür, die vier Bausteine, die man braucht, und drei Irrtümer, die sich hartnäckig halten. Praxis-Tipp zum Schluss: die KI-Inventur in drei Fragen. Kapitel 00:00 Cold Open · 00:32 Begrüßung · 01:11 Was „lokal“ bedeutet · 02:45 Warum lokal? · 04:17 Was man dafür braucht · 05:43 Drei Irrtümer · 06:35 Praxis-Tipp: Die KI-Inventur · 07:14 Ausblick auf #02 Fragen und Themenwünsche: [email protected] Im Fediverse folgen: @[email protected] Ein Podcast der JULITH GmbH.