Validierung von KI-Systemen in regulierten Branchen – Forschungsbedarf, Regulierungsrahmen und Ausblick
Wenn KI selbst zum Compliance-Thema wird
Wenn Künstliche Intelligenz (KI) regulatorische Aufgaben übernehmen kann, zur GxP- und IT-Compliance beiträgt und zunehmend auch in Medizinprodukten Einzug hält, stellen sich zwangsläufig die Fragen: Wie kann KI selbst validiert werden? Wie lässt sich IT-Compliance von KI-Anwendungen herstellen und nachweisen?
Warum klassische Validierungsmethoden an Grenzen stoßen
Für die Validierung von Softwaresystemen existieren seit Jahren etablierte regulatorische Methoden – etwa auf Basis der FDA-Guidelines, GxP-Richtlinien oder der IEC 62304 für Medizinprodukte. Diese Ansätze funktionieren gut für Systeme, deren Verhalten deterministisch, reproduzierbar und nachvollziehbar ist.
KI-basierte Systeme sind jedoch datengetrieben und probabilistisch. Sie verändern ihre Leistungsfähigkeit durch neue Trainingsdaten – potenziell sogar aus Prozessen, die sie selbst beeinflussen. Für solche selbstlernenden Systeme geraten klassische Computerized System Validation (CSV)-Methoden an ihre Grenzen.
Neue Anforderungen an Validierung und Compliance
Die Validierung von KI erfordert eine integrierte Betrachtung von
- Datenqualität und -herkunft,
- Modellarchitektur und Trainingsprozessen, sowie
- dem Anwendungskontext, in den die KI eingebettet ist.
Zwar enthalten bestehende Standards wie GAMP 5 Second Edition erste Ansätze zur Validierung von Machine Learning-Systemen, sie reichen jedoch für vollständig adaptive Systeme noch nicht aus. Damit entsteht die Gefahr, dass Regulierung zur Innovationsbremse wird.
Dies betrifft sowohl den Einsatz von KI in Medizinprodukten („AI as a medical device“) als auch KI-basierte Systeme zur Unterstützung von Geschäfts-, Produktions- oder Qualitätsprozessen.
Fehlende Standards als Innovationshemmnis
In diesen Bereichen entwickelt sich die Digitalisierung rasant, doch es fehlen geeignete Methoden und Erfahrungen, um IT-Compliance nachvollziehbar nachzuweisen. Fehlende regulatorische Orientierung und daraus resultierende Unsicherheit können sich zu einem Hemmnis für Innovationsfähigkeit und unternehmerischen Erfolg entwickeln – und das ausgerechnet in volkswirtschaftlich bedeutenden, oft mittelständisch geprägten Branchen wie Pharma, Biotechnologie und Medizintechnik. Vor diesem Hintergrund besteht methodischer und technologischer Entwicklungsbedarf zur Validierung von KI-Systemen.
Den übergeordneten Rahmen für die weitere Entwicklung setzen insbesondere die aktuellen europäischen Regelungen zur Datenverarbeitung und Künstlichen Intelligenz. Hierzu zählen der Data Act (Juni 2023), der Data Governance Act (DGA) (September 2023) sowie der EU AI Act, der die weltweit erste umfassende Regulierung von Künstlicher Intelligenz anstrebt. Künftige Ansätze zur Validierung von KI müssen sich in diesen Rechtsrahmen einfügen. Parallel dazu existieren internationale Initiativen, die branchenspezifische Regulierungen für KI entwickeln – etwa von der EMA oder der FDA.
Allerdings konzentrieren sich diese bisher vorrangig auf die regulatorischen Anforderungen für die Entwicklung von KI-basierten Systemen. Für deren Betrieb – und damit auch für die Frage der Validierung und IT-Compliance – existieren bislang keine abschließenden Antworten. Offene Fragen lauten
- Wie beeinflusst KI die Inspektionspraxis der Überwachungsbehörden?
- Welcher Anpassungsbedarf entsteht für bestehende CSV-Methoden?
- Wie kann die geforderte Compliance von KI-Systemen nachgewiesen werden?
Diese Fragen verdeutlichen die bestehende Lücke: Es fehlt ein verlässliches Regelwerk, das CSV und KI-Validierung systematisch miteinander verbindet. Ebenso fehlen standardisierte Methoden und technologische Werkzeuge, um KI-Systeme unter geltenden Regularien nachvollziehbar zu prüfen.
Der kommende Annex 22:
Ein Schritt zur Schließung der Lücke?
Der im Entwurf befindliche Annex 22 „Artificial Intelligence“ soll künftig genau diese Lücke schließen. Er ergänzt Annex 11 „Computerised Systems“ und adressiert die Validierung von KI-Modellen in GMP-kritischen Anwendungen. Sein Geltungsbereich umfasst Machine-Learning-Modelle, die ihre Funktionalität durch Training mit Daten erlangen, nicht durch fest einprogrammierte Regeln. Annex 22 legt fest, dass ausschließlich statische Modelle, also Modelle mit eingefrorenen Parametern, in kritischen GMP-Anwendungen eingesetzt werden dürfen, da diese Parameter für die Herstellungsprozesse (CPPs) sowie die entsprechenden Attribute in der Qualitätskontrolle (CQAs) meistens im Zulassungsdossier des Arzneimittels festgelegt sind und nicht verändert werden dürfen. Dynamische oder generative Modelle, die sich nach ihrer Freigabe selbst weiterentwickeln, sind in diesem Kontext daher ausdrücklich ausgeschlossen. Darüber hinaus beschreibt der Entwurf Anforderungen an Testdaten, Erklärbarkeit, Vertrauensniveaus, Change Control und Human-in-the-Loop-Prinzipien. Ziel ist es, sicherzustellen, dass KI-Modelle nur dort eingesetzt werden, wo ihre Leistungsfähigkeit, Stabilität und Nachvollziehbarkeit mit den GMP-Anforderungen vereinbar sind.
Damit entsteht erstmals ein Rahmen, der den Einsatz von KI in regulierten Umgebungen ermöglicht, ohne die Grundprinzipien von Patientensicherheit, Produktqualität und Datenintegrität zu gefährden.
Fazit
Die Validierung von KI-Systemen steht an der Schnittstelle von technologischer Innovation und regulatorischer Verantwortung. Sie ist derzeit eines der dynamischsten und zugleich am wenigsten standardisierten Themen im Life-Sciences-Sektor. Zwischen klassischen CSV-Methoden und modernen, datengetriebenen Systemen klafft eine Lücke, die neue Methoden, neue Denkweisen und neue Werkzeuge erfordert.
Mit dem EU AI Act entsteht erstmals ein Rechtsrahmen, der den Einsatz von KI in allen Sektoren adressiert. Der Annex 22 „Artificial Intelligence“ konkretisiert diesen Rahmen für GMP-regulierte Umgebungen und schafft die Basis für eine nachvollziehbare, risikobasierte Validierung von KI-Modellen. Damit werden regulatorische Leitplanken gesetzt, die Innovation ermöglichen, ohne die Grundprinzipien von Patientensicherheit, Produktqualität und Datenintegrität zu gefährden.
Für Unternehmen bedeutet das: Sie sollten sich frühzeitig mit den neuen Anforderungen auseinandersetzen, ihre Validierungsstrategien anpassen und interne Kompetenzen für die Bewertung von KI-Systemen aufbauen. Nur wer diesen Wandel aktiv gestaltet, kann sicherstellen, dass Künstliche Intelligenz nicht zum Compliance-Risiko wird, sondern zum Innovationstreiber in regulierten Branchen.
Validierung von KI-Systemen
Lassen Sie uns gemeinsam anschauen, wie Ihre KI-Pläne zu EU AI Act und Annex 22 passen.
