Zum Hauptinhalt springen

Forschung verliert an QualitätGrosse Mängel beim Publizieren

Die Corona-Krise stellt die Wissenschaft vor ein Dilemma: Möglichst schnell soll möglichst viel erforscht werden, doch die Hektik führt zu Fehlschlägen, wie sich nun zeigt.

Das renommierte Fachblatt «The Lancet» hat die Publikation über die Wirkung des Malariamittels Hydroxychloroquin auf Patienten mit Covid-19 zurückgezogen.
Das renommierte Fachblatt «The Lancet» hat die Publikation über die Wirkung des Malariamittels Hydroxychloroquin auf Patienten mit Covid-19 zurückgezogen.
Screenshot: The Lancet

Es ist ein Paukenschlag für die Wissenschaft: Nach massiver Kritik haben zwei weltweit renommierte medizinische Fachblätter, «The Lancet» und das «New England Journal of Medicine», Publikationen zurückgezogen. Im «Lancet» war die Wirkung von Hydroxychloroquin und Chloroquin auf Patienten mit Covid-19 beschrieben und eine doppelt so hohe Sterblichkeit im Vergleich zu Kontrollgruppen behauptet worden. Im «New England Journal of Medicine» waren Forscher zu dem Schluss gekommen, dass Blutdrucksenker vom Typ ACE-Hemmer das Risiko bei Covid-19 nicht erhöhen.

Für beide Beiträge hatte ein Dienstleister namens Surgisphere Daten erhoben und mithilfe von «Big Data» ausgewertet. Schon bald wuchsen die Zweifel an den Angaben im «Lancet» über die angeblich 15’000 Patienten und 80’000 Probanden in der Kontrollgruppe. Surgisphere, dessen Chef Sapan Desai als Co-Autor des Artikels firmiert, stellte die Patientendaten aus 671 Kliniken auf sechs Kontinenten zusammen.

Konkurrenzkampf unter Fachblättern

In einem offenen Brief hatten 146 Ärzte, Wissenschaftler und Statistiker zehn «gewichtige Bedenken» an die Autoren des Artikels und den Herausgeber adressiert. Nachdem Surgisphere weder externen Gutachtern noch den Co-Autoren Rohdaten zur Verfügung stellen wollte, wurden die Studien vor wenigen Tagen zurückgezogen. In den Artikeln waren beispielsweise für Australien mehr Todesfälle aus Kliniken angeführt worden, als dort gemeldet waren. Und für Afrika wurden Details aus elektronischen Krankenakten von Tausenden Patienten beschrieben, die angesichts der dortigen Infrastruktur unglaubwürdig erschienen. «Es ist sehr ernüchternd, dass diese Unstimmigkeiten weder im Peer Review noch im redaktionellen Prozess der Journale aufgefallen sind», sagt Jörg Meerpohl vom Institut für Evidenz in der Medizin der Uni Freiburg.

«Hier hätte ich 200-prozentige Sorgfalt erwartet.»

Jörg Meerpohl, Institut für Evidenz in der Medizin, Universität Freiburg

Gerade bei so hochrangigen Zeitschriften sollte das nicht vorkommen. «Besonders dramatisch finde ich, dass dies bei Studien passiert ist, von denen klar war, dass sie eine grosse Bedeutung für das Management der Pandemie haben. Hier hätte ich 200-prozentige Sorgfalt erwartet.» Die Bedrohung durch das Virus fördert die Extreme, das gilt auch für die Fachpublizistik. Wahrscheinlich war es nie so einfach wie während der Pandemie, in angesehenen Fachzeitschriften zu publizieren. Artikel mit den Schlagwörtern Sars-CoV-2 oder Covid-19 werden derzeit schnell veröffentlicht. Jedes Fachblatt will seinen Teil zum Wissenszuwachs beitragen. Zudem stehen sie in Konkurrenz zu Preprint-Servern, auf denen Rohfassungen noch nicht begutachteter Artikel zugänglich sind.

Während der Corona-Pandemie ist das Dilemma besonders gross: Die Welt wartet angesichts von Hunderttausenden Toten und einer unklaren Dauer der Seuche dringend auf neue Erkenntnisse zu Covid-19. Andererseits werfen falsche Ergebnisse die Forschung zurück, begünstigen politische Fehlentscheidungen oder gefährden Menschen.

Das Drama um ‹Lancet› und das ‹New England Journal of Medicine› ist ein Desaster für den Wissenschaftsbetrieb mit nicht abschätzbarem Schaden.»

Gerd Antes, langjähriger Leiter des Cochrane-Zentrums in Freiburg

Als Reaktion auf die «Lancet»-Studie hatte die WHO eine Studie zum Teil ausgesetzt, in der Hydroxychloroquin bei Covid-19 geprüft werden sollte. Jetzt wird die Studie wieder aufgenommen. «Das Drama um ‹Lancet und das ‹New England Journal of Medicine› ist ein Desaster für den Wissenschaftsbetrieb mit nicht abschätzbarem Schaden», kritisiert Gerd Antes, langjähriger Leiter des Cochrane-Zentrums in Freiburg, das die Qualität medizinischer Studien bewertet. «Die gegenwärtige Lage scheint Anlass genug zu sein, Grundprinzipien von Wissenschaft und Forschung nicht so ernst zu nehmen.»

In der Kritik steht auch der Gutachterprozess durch Fachkollegen, «Peer Review» genannt. Gute Fachzeitschriften verlangen, dass eingereichte Studien von Experten geprüft, bewertet und Kritik den Autoren zugeleitet wird. Zumeist geschieht dies anonymisiert, zunehmend werden offene Gutachterverfahren probiert. Erst wenn die Einwände berücksichtigt wurden und der Artikel überarbeitet ist, kann er veröffentlicht werden. «Der hohe Aufwand dient dazu, schlechter Datenqualität und Betrug in der Wissenschaft entgegenzuwirken. Es ist mühselig, die Echtheit von Daten zu überprüfen. Dazu gehören Plausibilitätschecks und Quelldaten-Verifizierung», sagt Stefan Lange vom Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen. «So etwas ist im Rahmen eines ehrenamtlichen Peer Reviews nur ansatzweise zu leisten. Betrug ist dabei kaum zu entdecken.»

Zudem erschweren immer grössere Datenmengen die Kontrolle. «Es handelt sich im aktuellen Fall um aggregierte Daten aus verschiedenen Studienzentren. Offenbar hatten nicht einmal drei der vier Autoren Zugriff auf die Primärdaten», sagt Bernd Pulverer, Herausgeber des «EMBO Journal». «Journale erwarten explizit, dass alle Autoren die Daten analysiert haben und so die Qualität der publizierten Daten gewährleisten. Journale müssen Autoren vertrauen, dass dies der Fall ist.»

Das Peer-Review-System kann zwar die Qualität von Studien verbessern, hat aber Mängel. «Gutachter können nie ‹am Tatort› sein und sind daher nur begrenzt in der Lage, Fehler oder vorsätzlichen Betrug zu erkennen», sagt Serge Horbach von der Radboud University Nijmegen. Mehrfach zeigten Tests, dass Gutachter nie alle Fehler in Studien entdecken. «Das Verfahren erfährt in der Pandemie einen Stresstest durch die grosse Geschwindigkeit, mit der unzählige Veröffentlichungen begutachtet werden sollen», sagt Infektiologe Gerd Fätkenheuer von der Uni Köln. «Ein Teil der Studien ist bereits auf Preprint-Servern vorveröffentlicht und Gegenstand breiter Debatten, was den Druck auf Gutachter weiter erhöht.» Ausserdem sei die Beurteilung aufwendig und werde von den Gutachtern zusätzlich zur regulären Arbeit geleistet. All das könne dazu führen, dass Gutachter wesentliche Probleme übersähen.

Kontroverse Vorveröffentlichung

Fehler in der Datenerhebung, wie sie rund um den ominösen Dienstleister Surgisphere vermutet werden, seien im Gutachterprozess schwer zu erkennen. Preprint-Server, auf denen während der Corona-Krise viele Wissenschaftler publizieren, werden derzeit kontrovers diskutiert. Die Idee stammt aus Physik und Mathematik und wurde als Ergänzung zu etablierten Zeitschriften entwickelt. Forscher wollten auf diesen Plattformen – unbeachtet von der Öffentlichkeit – Ergebnisse erörtern, auch wenn sie noch vorläufig waren. Die Unterschiede in der Einschätzung könnten extremer nicht sein.

«Man findet alles: dass die Qualität im freien Fall sei bis hin zur goldenen Zukunft durch die Befreiung vom Peer Review», beobachtet Gerd Antes. «Als Nischenmodell hat es seinen Nutzen gehabt, doch diese ‹Ruhe ist verloren und die Publikationsform völlig überfordert, wie auch die Geschehnisse um die Kinderstudie von Drosten zeigen.»

Fehler in Studien bedeuten übrigens nicht, dass das Gegenteil richtig wäre. Von den Malariamitteln Hydroxychloroquin und Chloroquin ist seit Jahren bekannt, dass sie in seltenen Fällen schwere Herzrhythmusstörungen auslösen. Ein Nutzen bei Covid-19 ist hingegen nicht belegt, auch wenn dies immer wieder behauptet wird. Die unbewiesene Empfehlung von Donald Trump, die Mittel zu nehmen, hat bereits einige Verwirrung gestiftet, konnte allerdings im Kontext seiner übrigen Bemerkungen eingeordnet werden. Dass führende Fachzeitschriften zu den wichtigsten medizinischen Fragen der Zeit unausgereifte Artikel veröffentlichen, ist hingegen ein schwerer Rückschlag.

11 Kommentare
    Max Meier

    Besten Beispiel Imperial College: Da wurde eine, auf eigenen unrealistischen Modellen basierende, Studie veröffentlicht. Diese verglich man dann mit der Realität und veröffentlichte anschliessend eine weitere Studie, die von 3 mio geretteten Leben wegen dem Lockdown sprach. Die Medien haben es ohne zu hinterfragen veröffentlicht, obwohl die erste Studie schon als falsch deklariert war.

    In etwa gleich verält es sich mit Studien bezüglich Klimawandel. Unhinterfragte Modelle, bei denen wohl selbst die Autoren nicht mehr wissen, was sie da modelliert haben, werden durch die Medien fröhlich veröffentlicht und als Wahrheit der Wissenschaft tituliert. Und man darf nur hoffen, dass sie nicht mehr wussten was da modelliert wurde, viel wahrscheinlicher ist eher, dass das Modell dem gewünschten Ergebnis angepasst wurde. Wissenschafter, die die Ergebnisse hinterfragen gehören natürlich nicht dem gewünschten Narrativ an und werden nicht angehört oder als irgendeine Form von Leugner ausgegrenzt.

    Ich hoffe, Politiker, die auf Grund des oben beschriebenen, Massnahmen veranlassen, werden vermehrt in einer objektiven Aufarbeitung zur Verantwortung gezogen. Und Argumente wie, wir wussten es halt nicht besser, dürfen nie und nimmer zählen. Wenn man nichts weiss, darf man auch keine kostspieligen Massnahmen ansetzen, denn sie könnten genausogut komplett falsch sein.