Python-Test-Framework: 100 Tests auf ein neues Gerät - Max Stahlschmidt

Wie viele Testfälle automatisiert sind, sagt wenig darüber, was die Testautomatisierung bringt. Mit Ivaylo Brüssow und Andrej Nod spreche ich über Metriken, die Wirksamkeit zeigen, und über den Metric Collector, mit dem sie Daten aus Jira, GitLab und Jenkins für rund 100 Anwendungen in einem Power-BI-Dashboard zusammenführen. Wir reden über Skripte, die im Git liegen, aber nie laufen, über Testabdeckung statt Code-Abdeckung und über einen Score aus acht Metriken, der einmal im Monat an die Führungsebene geht. Und darüber, wie man im historisierten Verlauf einen Release erkennt, der in Zeitlupe gegen die Wand läuft.

Frontend-Testing ist komplizierter als Backend-Testing, sagt Alexander Opalic, und mit ihm spreche ich darüber, warum er seine Komponenten im echten Browser testet statt in jsdom oder happy-dom. Mit dem Vitest Browser Mode rendert er Datepicker, Tabellen und Modals isoliert in einem iFrame und prüft sie so, wie ein Nutzer sie bedient. Dabei fällt auf, was eine emulierte Umgebung nicht sieht, etwa grauer Text auf weißem Grund, den niemand lesen kann. Der Preis: Ein Klick dauert statt 20 vielleicht 200 Millisekunden, aus fünf Minuten Testlauf werden fünfeinhalb. Wir reden auch über Screenshot-Tests für die eigene Core-UI-Library und über die Frage, wo Visual Regression flaky wird.

Hundert End-to-End-Tests auf ein neues Gerät bringen, ohne einen einzigen anzufassen: Dafür hat Max Stahlschmidt das Open-Source-Python-Test-Framework Balder gebaut. Mit ihm spreche ich darüber, warum bewährte Frameworks bei Produktvarianten an ihre Grenzen stoßen, wie Balder die abstrakte Testlogik in Szenarien von der Implementierung in Setups trennt und warum er es nicht auf Pytest aufgesetzt hat. Sein Beispiel: ein Herzfrequenz-Brustgurt und eine Pulsuhr, die optisch statt elektrisch misst, und trotzdem reichten zwei getauschte Features. Dazu BalderHub-Pakete für Web-Tests, JUnit-Reporting per Plugin und die Suche nach Mitentwicklern, weil der Kern bis heute Handarbeit ist.

DAST landet bei Daniel Schmuck auf dem Tisch, weil die DORA-Verordnung Banken und Versicherungen zu Sicherheitstests verpflichtet. Mit ihm spreche ich darüber, wie ZAP als Proxy zwischen Regressionstest und Anwendung sitzt: Erst lernt es aus Playwright- oder Selenium-Läufen den normalen Verkehr kennen, dann fährt es selbst Angriffe wie SQL-Injection und Cross-Site-Scripting. Wir reden über Jenkins-Pipelines, Prüfregeln als Plug-ins mit Updates alle zwei Wochen und darüber, was der erste Report gezeigt hat. Am Ende geht es um die Frage, wie Meldungen aus Pentest, DAST und Infrastrukturscan zusammenkommen, ohne dass Entwickler dieselbe Ursache dreimal gemeldet bekommen.

Ein Lasttest ohne Frage dahinter ist verschwendete Lebenszeit, sagt Stephan Schwarz, und genau darüber spreche ich mit ihm: Lasttests in Kubernetes-Umgebungen, die eine Risikofrage beantworten und eine Entscheidung vorbereiten. Stephan erklärt, warum Dev, Ops und QA dafür an einen Tisch müssen: Kein Team allein weiß, wie sich die Software unter Last verhält. Wir reden über Laborsetups, in denen Autoscaling und Load Balancing erst mal zurückgefahren werden, über Lastgeneratoren wie k6 oder Locust und über seinen ersten Test 2018, bei dem der limitierende Faktor sein eigenes Notebook war. Und darüber, dass jedes System ein Bottleneck hat, auch wenn es noch keiner gefunden hat.

Ob ein Kernel auf jeder CPU-Generation läuft, zeigt erst die echte Hardware. Genau dafür hat Markus Napierkowski mit seinem Team ein Hardware-in-the-Loop-Framework gebaut, das seit zwei Monaten Open Source auf GitHub liegt, und darüber spreche ich mit ihm auf der TACON in Leipzig. Entwickler und CI reservieren sich dieselben Testmaschinen über eine REST API, sauber initialisiert, als stünden sie neben dem Schreibtisch. An jeder Maschine hängt ein Raspberry Pi für USB, HDMI und serielle Konsole, eine neue Hardware ist auf der Softwareseite fünf Zeilen Code im Nix-Repository. Mich hat vor allem gefreut, dass hier jemand ein über Jahre gewachsenes Werkzeug zurück an die Community gibt.

Was taugen Tests, die 100 Prozent Coverage liefern, aber keine einzige Assertion enthalten? Mit Julius Mischok spreche ich über Mutation Testing: Ein Tool baut absichtlich Fehler in den Produktionscode ein, dreht Bedingungen um oder setzt Rückgabewerte auf Standardwerte und prüft dann, ob die Tests anschlagen. Bleiben sie grün, hat die Mutation überlebt und der Test ist wenig wert. Julius erklärt, warum diese alte Idee gerade jetzt zurückkommt, wo Agenten massenhaft Tests schreiben, die kaum jemand wirklich in der Tiefe liest.

Wer schreibt noch selbst Code, wenn Agenten das in Minuten erledigen? Mit Benedikt Stemmildt spreche ich darüber, wie Qualität entsteht, wenn nicht mehr Menschen, sondern Agenten die Hauptarbeit am Code übernehmen. Wir reden darüber, warum der entscheidende Unterschied nicht im Modell liegt, sondern darin, ob man am System arbeitet oder im System: Hooks, Regeln, Skills und automatische Architektur-Reviews als Feedbackschleifen, die den Agenten genau so anlernen, wie man einen neuen Kollegen einarbeitet. Benedikt zeigt, wie er Testpyramide, Contract-Tests, Performance-Budgets und Accessibility-Prüfungen direkt in diesen Prozess einbaut, und warum er Codex den Code von Claude reviewen lässt.

Mehr Code, mehr Fehler: Mit Benjamin Hummel spreche ich darüber, was passiert, wenn KI-Agenten Code produzieren schneller als Teams ihn prüfen können. Wir reden über die Illusion, dass Qualitätssicherung ein Bottleneck ist, den man einfach wegoptimiert, und was das für Systeme bedeutet, die in der echten Welt laufen.

Wer steckt eigentlich hinter den Testing Boards, wenn die Tester gerade nicht hinschauen? Mit Andrea Kränzlein spreche ich darüber, was es bedeutet, als Backoffice die drei deutschsprachigen ISTQB-Vertretungen am Laufen zu halten, und zwar seit mittlerweile 20 Jahren beim German Testing Board, plus jeweils über einem Jahrzehnt für das Austrian und das Swiss Testing Board. Andrea ist keine Testerin, und gerade das macht ihren Blick auf unsere Community sointeressant. Sie erzählt, wie sie ihr erstes Meeting mit lauter schweigenden Laptopnutzern erlebt hat, was eine Kuhdose mit Timeboxing zu tun hat und wie sich Deutsche, Österreicher und Schweizer in ihrer Boardarbeit liebevoll karikiert unterscheiden. Vielleicht hast Du dann ja Lust, selbst in den Boards mitzuarbeiten :-)