Wie können Forschende Künstliche Intelligenz (KI) sinnvoll und verantwortungsbewusst nutzen, wenn sie die weltweite Studienlage zu einer bestimmten Fragestellung in einer Evidenzsynthese zusammenfassen? Zu dieser Frage hat die Cochrane Collaboration gemeinsam mit drei anderen großen Organisationen jetzt erstmals ein gemeinsames Positionspapier veröffentlicht. Erarbeitet haben das Papier neben Cochrane weitere führende internationale Forschungsnetzwerke, die Evidenzsynthesen zu sozialen Fragen sowie Gesundheits- und Umweltthemen erarbeiten: die Campbell Collaboration, JBI und die Collaboration for Environmental Evidence.
„Unser gemeinsames Positionspapier und die Empfehlungen darin sind ein entscheidender Schritt bei der Erstellung von Evidenzsynthesen im KI-Zeitalter. Denn es hilft uns, die Integrität der Forschung zu wahren“, so Prof. Dr. med. Jörg Meerpohl, wissenschaftlicher Direktor von Cochrane Deutschland. „Das Papier macht es möglich, dass wir die Vorteile von KI nutzen – und sorgt zugleich dafür, dass wir mit den Herausforderungen im Zusammenhang mit KI angemessen umgehen.“ Einerseits könne der Einsatz von KI nämlich helfen, dass Evidenzsynthesen schneller und günstiger fertiggestellt werden als bisher, so Meerpohl. „Daher ist es völlig verständlich, dass viele Autor*innen KI nutzen möchten. Aber es gibt dabei eben auch Risiken: etwa, dass ein missbräuchlicher KI-Einsatz methodische Standards untergräbt. Die Handlungsempfehlungen in unserem KI-Positionspapier helfen uns sicherzustellen, dass beispielsweise die Evidenz aus Cochrane Reviews auch in Zukunft genauso zuverlässig und vertrauenswürdig ist wie bisher.“
Das Papier legt in seinen Empfehlungen ein Grundprinzip klar fest: Die Autor*innen von Evidenzsynthesen tragen die volle Verantwortung für Inhalt, Methodik und Ergebnisse ihrer Synthese – einschließlich der Entscheidung, ob und wie KI eingesetzt wird. „Das Positionspapier hält beispielsweise fest: Bevor man KI-Lösungen verwendet, muss man das entsprechende Tool kritisch prüfen und sich zum Beispiel fragen: Was leistet es? Wo stößt es an Grenzen? Lässt es sich bei meiner konkreten Forschung überhaupt sinnvoll anwenden?“, erläutert Dr. Angelika Eisele-Metzger, Mitautorin des Papiers und wissenschaftliche Mitarbeiterin bei Cochrane Deutschland u.a. mit dem Schwerpunkt „Künstliche Intelligenz“.
Zudem sieht das Papier vor, dass sämtliche automatisierten Schritte von Fachleuten überwacht und – falls nötig – korrigiert werden müssen. Auch soll jeder Einsatz von KI transparent und umfassend dokumentiert werden – und es soll dargelegt werden, warum die Verwendung von KI gerechtfertigt ist. „Die Anwendung von KI darf die wissenschaftliche Integrität und die Qualität und Vertrauenswürdigkeit der Ergebnisse einer Evidenzsynthese nicht gefährden“, fasst Eisele-Metzger zusammen. „Mit diesem Positionspapier wird klar: Ihr Einsatz für Evidenzsynthesen ist grundsätzlich möglich, aber es gibt dabei eben einiges zu beachten.“
Die vier Organisationen weisen in ihrem gemeinsamen Papier auch auf die Verantwortung der Entwickler von KI-Tools hin: Diese müssten sicherstellen, dass Informationen darüber öffentlich zugänglich sind, wie die jeweiligen Systeme oder Tools funktionieren, wie sie getestet und validiert wurden und welche Stärken und Schwächen sie haben. Das ist notwendig, damit Autor*innen von Evidenzsynthesen fundiert darüber entscheiden können, ob und welche KI-Anwendungen sie einsetzen und wie sie das tun.
Das jetzt veröffentlichte Positionspapier fußt auf den so genannten RAISE-Empfehlungen zum verantwortungsvollen Einsatz von KI in Evidenzsynthesen (RAISE: Responsible use of AI in evidence SynthEsis). Diese Empfehlungen waren von einer gemeinsamen Arbeitsgruppe mit Mitgliedern von Cochrane, Campbell Collaboration, JBI und CEE entwickelt worden.