Episode 17 (English) - Verification and standardization of autonomous vehicles - with Siddartha Khastgir

Simon Leitner ist CEO und Founder von Condignum, einer Cybersecurity-Firma mit Sitz in Wien. Er beschäftigt sich vor allem in den letzten 10 Jahren mit Cybersecurity. NIS2, eine neue EU-Richtlinie zur Cybersicherheit, tritt ab Oktober 2024 in Kraft. Die darin definierten verschärften Maßnahmen und Meldepflichten betreffen viele Unternehmen. Im Gespräch mit Simon Leitner wurde erörtert, was genau NIS2 fordert, wen es alles betrifft und wie man diese Anforderungen erfüllen kann. Die erwähnten Ressourcen: Adam Shostack Bücher ENISA Threat Landscape Cybersicherheitsinformationen des österreichischen Bundesministeriums

Mark A. Vernacchia is a GM Technical Fellow and is the Principal System Safety Engineer for all GM propulsion systems worldwide. Mark received a BS in Mechanical Engineering from Purdue University and an MS in Engineering Sciences from Rensselaer Polytechnic Institute (RPI). He has been listed on 24 control system based patents as an inventor. Mark is a Professional Engineer in the State of Michigan and is recognized as an Expert Systems Engineering Professional (ESEP) by the International Council of Systems Engineers (INCOSE). In this episode, Mark talked about SAE J3187, a recommended practice for evaluations of automotive related safety-critical systems using the system-theoretic process analysis STPA. Goal of this document is to provide both educational materials and lessons-learned gained by STPA practitioners. Further, Mark talked about his experiences using STPA and being a task force leader developing the recommened practice. There will be a major update of SAE J3187 in the first quarter of 2023. Additional sources of information and links mentioned in the podcast: For info about STAMP and the next STAMP workshop go to: PSAS website A list of presentations by Mark on STPA can be found here: Vernacchia STPA presentations The STPA-handbook can be found here: STPA-handbook You may reach out to Mark A. Vernacchia via email: firstname.a.lastname [a] gm.com (replace firstname and lastname by, ail address is not pasted directly to avoid spam mails)

Lydia Kaiser ist seit März 2021 ECDF-Professorin für „Digitales Engineering 4.0.“ am Institut für Werkzeugmaschinen und Fabrikbetrieb der TU Berlin. ECDF steht für "Einstein Center Digital Future". Sie promovierte zum Thema "Rahmenwerk zur Modellierung einer plausiblen Systemstruktur mechatronischer Systeme“. Anschließend beschäftigte Sie sich mit Systems Engineering und speziell Model-based Systems Engineering am Fraunhofer-Institut für Entwurfstechnik Mechatronik IEM in Paderborn. Dort war sie auch Gruppen- bzw. später Abteilungsleiterin. In dieser Episode erzählt sie über ihre Forschung und Lehre bzw. Erfahrungen in der Praxis und in der Zusammenarbeit mit Firmen. In ihrer Forschung dreht sich alles um den Wandel in der Industrie der durch Digitalisierungsprozesse getrieben wird. Dabei möchte sie Fragenstellungen vor allem umfassend, also soziotechnisch und interdisziplinär betrachten. Weitere Informationsquellen bzw. Links aus dem Podcast: Die Systems Engineering Software von TwoPillars: iQuavis Die Mustererkennungs-Lösung für Model-based Systems Engineering: iQSketch Podcast „Female Leadership“: Female Leadership von Vera Strauch Meine Dissertation: Uni Paderborn - Digitale Ressourcen Das erwähnte Systems Engineering-Buch: Systems Engineering (Haberfellner)

Michael Schmid is a Technology Architect and Loss Prevention Specialist in the field of autonomous systems. His research focuses on preventing losses related to the use of Artificial Intelligence (AI) and making AI safe for use in everyday technology. Previously, Michael has worked on automation features in cars, self-driving software, and has developed a certification approach for automated vehicles. Michael has a Master‘s degree from the Massachusetts Institute of Technology (MIT) and is currently a PhD candidate in the Group for System Safety and Cybersecurity at MIT. He is the second time guest in this podcast. In this episode, Michael gave a thorough introduction to STAMP and STPA. STAMP is an accident causality model that was developed by prof. Nancy Leveson at MIT. It is based on systems theory and systems thinking. It is well-suited to addresses the challenges in engineering when working with critical complex systems. STPA is an analysis method based on STAMP to analyze systems to proactively avoid accidents. In comparison, CAST is the a method to analyse accidents that already happened. Additional sources of information: To learn more about Michael, his projects and current work, or to download his Master‘s thesis on the certification of automated vehicles visit his webpage: michael.systems For info about STAMP and the next STAMP workshop go to: PSAS website The STPA-handbook can be found here: STPA-handbook

Dr. Holger Flühr ist seit 2003 an der FH Joanneum tätig und seit 2006 ist er dort Professor für Avionik und Flugsicherungstechnik. Zudem agierte er zeitweise auch als Instituts- und Studiengangsleiter. Davor war nach jahrelanger Tätigkeit in der Forschung im Forschungszentrum Karlsruhe (aufgegangen im KIT) und der TU Graz eine Zeit lang auch bei einem Unternehmen beschäftigt, das sich mit der Entwicklung von Hochfrequenz-Bauteilen für Mobilfunkanwendungen beschäftigt. Abschließend wären noch die Mitgliedschaften in Beratungsgremien und Interessensvertretungen zu erwähnen. In den letzten Wochen war in Zeitungen und Online-Medien vermehrt über den Mobilfunkstandard 5G und mögliche Komplikationen mit Flugzeugen zu lesen. Kurz gesagt besteht die Gefahr, dass die 5G-Mobilfunkwellen Flugzeuge während der Landung stören könnten. Und während die Luftfahrt grundsätzlich als sehr sicher gilt, gehören Start und eben auch Landung zu den kritischeren Phasen eines Flugs. Was hat es nun mit den Berichten auf sich? Auf diese und weitere Fragen ist Herr Flühr im Podcast eingegangen. Am Anfang wurde vor allem das geklärt was die Avionik überhaupt ist und anhand welcher Grundidee man Flugzeuge und deren Systeme sicher gestaltet. Weitere Ressourcen: Der Studiengänge an der FH Joanneum: Luftfahrt/Aviation Bachelor und Master Holger Flührs Buch Avionik und Flugsicherungstechnik Info für Flugzeug-Wartungspersonal: Austrocontrol Part-66 OpenAcess Literatur Aerospace Science and Technology (bietet viele Open-Access-Artikel) CEAS Aeronautical Journal (bietet viele Open-Access-Artikel) Deutsche Gesellschaft für Luft- und Raumfahrttechnik (Netzpublikationen aus dem gesamten Aerospacebereich) Avionics Magazine (ein Industriemagazin für einen guten und aktuellen Überblick) FAA-Literatursammlung (aus der pilotischen Sichtweise)

Dr Siddartha Khastgir is the Head of Verification & Validation of collaborative autonomous vehicles (CAV) at WMG, University of Warwick, UK. His research areas in the CAV domain include test scenario generation, safety, simulation-based testing, Safe AI among many others. He has received numerous national and international awards for his research contributions, including the prestigious UKRI Future Leaders Fellowship, a seven-year Fellowship focused on safety evaluation of CAVs, and is a Forbes 30 Under 30 Europe list maker. He is also the project leader for ASAM standardisation project - OpenODD, and an active participant at ASAM, SAE, ISO and UNECE discussions. In this episode we talked about verification and validation of autonomous vehicles. This includes the advantages and challenges of simulations and how one research question raises several more questions. We also talked about the low-speed autonomous driving and about the new standard ISO 22737 “Low-Speed Automated Driving (LSAD) systems”. He was the lead author of that standard, as well as of ISO 34503 “Taxonomy for ODD”, where ODD stands for Operational design domain. Further resources: BSI PAS 1883 - The publicly available standard on how to define an ODD can be found here ISO 22737:2021 - The new standard on low-speed autonomous vehicles can be found here More on openODD can be found here Check out Siddarthas website

Michael Schmid is a Technology Architect and Loss Prevention Specialist in the field of autonomous systems. His research focuses on preventing losses related to the use of Artificial Intelligence (AI) and making AI safe for use in everyday technology. Previously, Michael has worked on automation features in cars, self-driving software, and has developed a certification approach for automated vehicles. Michael has a Master‘s degree from the Massachusetts Institute of Technology (MIT) and is currently a PhD candidate in the Group for System Safety and Cybersecurity at MIT. In this episode, Michael provided some insights into his research and explained why we need a systems approach to solve many of today‘s problems in technology. As an example, Michael and I discussed some of the challenges of autonomous cars and he outlined a systems-based approach for their certification. Michael provided a quick overview of his current research, making AI-based technology safe, and described some of his main ideas. STAMP, a new accident causality model developed by Nancy Leveson, Michael‘s supervisor at MIT, serves as the basis for his approach. Additional sources of information: To learn more about Michael, his projects and current work, or to download his Master‘s thesis on the certification of automated vehicles visit his webpage: michael.systems For info about STAMP and the next STAMP workshop go to: PSAS website

Andreas Gerstinger ist System-Safety-Experte mit Erfahrung verschiedenen sicherheitskritischen Bereichen, vor allem in der Flugsicherungs- und Bahnindustrie. Er ist bei Frequentis angestellt und zudem Lehrender an der FH Campus Wien und dem FH Technikum Wien . In dieser Episode haben wir über die Boeing 737 MAX Abstürze vom Oktober 2018 und März 2019 gesprochen, bei denen insgesamt mehr als 300 Menschen gestorben sind. Als Ursache wurde ein System ausgemacht, dass die Fluglage eigentlich stabilisieren sollte. Wir haben ausführlich besprochen, welche Umstände zu dieser Fehlkonstruktion und schlussendlich zum System-Safety-Versagen geführt haben. Hier sind die im Podcast angesprochenen Dokumente und weiterführende Informationsquellen: Unfallbericht Lion Air: Aircraft Accident Investigation Report - PK-LQP Unfallbericht Ethiopian Airlines: Aircraft Accident Investigation Preliminary Report - ET-AVJ Bericht der Untersuchungskommision des Kongress: Final Committee Report on the Design, Development, and Certification of the Boeing 737 MAX Ausführlicher Artikel der Seattle Times: Flawed analysis, failed oversight: How Boeing, FAA certified the suspect 737 MAX flight control system

Mathis Lechner ist PhD-Student und Machine Learning Forscher am Institute of Science and Technology Austria in Maria Gugging bei Klosterneuburg. Seine Forschungsschwerpunkte sind Machine Learning, Formale Methoden und Robotik. In diesem Zusammenhang kam es zur Zusammenarbeit mit Forscherinnen und Forschern des IST, der TU Wien und dem MIT . In dieser Episode haben wir darüber gesprochen, welche Aspekte beachtet werden müssen, um Systeme mit neuronalen Netzen in sicherheitskritischen Systemen einsetzen zu können. Spezieller Fokus wurde auf eine Arbeit vom letzten Jahr gelegt. Zusammen mit Ramin Hasani war er Hauptautor einer Arbeit die gezeigt hat, dass mit wenigen Neuronen in autonomen Fahrsituationen teilweise bessere Ergebnisse erzielt werden können, als mit komplexen neuronalen Netzen, wenn man sich an der Natur orientiert. Diese Arbeit wurde in Nature Machine Intelligence publiziert. Das sind die im Podcast angesprochenen Paper: Neurales Netzwerk mit wenigen Neuronen (Lechner, Hasani et. Al): Neural circuit policies enabling auditable autonomy Verifikation quantisierter neuraler Netze (Henzinger et. Al.): Scalable Verification of Quantized Neural Networks (Technical Report) Adversial Training – Genauigkeit vs. Robustheit (Lechner et. Al): Adversarial Training is Not Ready for Robot Learning

Ingo Houben ist Business Development und Account Manager bei AdaCore und verantwortlich für den deutschsprachigen Raum. Er langjährige Berufserfahrung in der EDA-, Embedded- und Automobilindustrie. Dort hat er sich mit Mikroelektronik und Softwaretechnik beschäftigt. In diesem Podcast haben wir über Ada und Spark gesprochen. Ada ist eine Programmiersprache, die sich aufgrund der strengen Anforderungen an validierte Compiler gut für sicherheitskritische Anwendungen eignet. Spark ist eine Variante von Ada mit zusätzlichen Regeln. Diese Regeln ermöglichen es, Programme automatisch auf Korrektheit zu prüfen. Die von Ingo erwähnte Studie kann hier heruntergeladen werden: Controlling Costs with Software Language Choice Bei Fragen kann man sich über LinkedIn an Ingo wenden: Ingo Houben - LinkedIn