Die internationale Cochrane Collaboration vermeldet einen wichtigen Zwischenschritt bei der Arbeit an ihrer neuen Studie zum Einsatz von KI in systematischen Übersichtsarbeiten: Kürzlich wurde das Protokoll der CESAR-Studie im „Journal of Clinical Epidemiology“ veröffentlicht. CESAR steht dabei für „Cochrane Evaluation of [Semi-]Automated Review methods”. Die Studie soll klären, ob und welche KI-Werkzeuge systematische Übersichtsarbeiten unterstützen können. Dafür werden zwei ausgewählte KI-Tools – nämlich „Laser AI“ und „Nested Knowledge“ – eingesetzt, um Studien zu screenen und um Studiendaten zu extrahieren. Die Auswahl dieser KI-Werkzeuge orientierte sich an den „RAISE-Prinzipien“ (Responsible AI in Evidence SynthEsis).

Plattformstudie zur verantwortungsvollen Integration von KI-Tools

Eine Besonderheit der CESAR-Studie ist ihr Design: Sie ist eine so genannte Plattform-Studie und vergleicht die Arbeitsergebnisse der KI-Tools mit den Arbeitsergebnissen menschlicher Review-Autor*innen. Konkret bedeutet das: Zu 15 verschiedenen medizinischen Fragestellungen unterstützen die KI-Werkzeuge das Screenen von Titeln und Abstracts sowie von Volltexten von Studien und extrahieren die relevanten Daten. Zeitgleich dazu machen 15 Teams aus Cochrane-Autor*innen genau dasselbe, nutzen dabei aber ausschließlich menschliche und keinerlei künstliche Intelligenz. Die Ergebnisse der menschlichen Arbeit – nämlich 15 Updates von Cochrane Reviews – dienen in der CESAR-Studie als Kontrolle: Mit ihnen werden die Ergebnisse der KI letztlich verglichen. Dabei werden die KI-Tools auf Kriterien wie Sensitivität, Fehlerquote und Nutzerfreundlichkeit hin überprüft. Da es aber bisher keinen offiziellen Konsens darüber gibt, ab wann ein KI-Tool als „ausreichend gut" gilt, stützten sich die Forschenden auf eine Community-Befragung aus dem Destiny-Projekt sowie auf Empfehlungen der Cochrane-AI-Methods-Group, um Schwellenwerte festzulegen.

CESAR-Studie als Blaupause für Review-Teams

Zudem ist die CESAR-Studie adaptiv angelegt: Zwischenanalysen erlauben es bei Bedarf, unterlegene Tools während der Studien-Laufzeit auszutauschen oder neue zu ergänzen. Dafür stehen fünf weitere KI-Anwendungen auf einer Reserveliste. Bislang kannte man adaptive Plattformstudien vor allem aus der klinischen Arzneimittelforschung.

„Die laufende Studie soll auch quantifizieren, wie sich Fehler von KI-Tools auf die Schlussfolgerungen einer Übersichtsarbeit auswirken. Bislang wurde dieses Risiko nur sehr selten in solchen KI-Studien untersucht “, erläutert Prof. Dr. Jörg Meerpohl, wissenschaftlicher Vorstand der Cochrane Deutschland Stiftung und am CESAR-Projekt beteiligt. „Das Design der CESAR-Studie kann als Blaupause für andere Review-Teams dienen, die KI-Tools in ihren eigenen Arbeitsabläufen validieren möchten.“