Kapitel 23

Zehn Tipps, um Fehler in Studien zu vermeiden

Menschen machen Fehler (dem stimmen Sie sicher zu). Epidemiologen sind Menschen (dem sollten Sie nach Lektüre dieses Buches auch zustimmen). Also machen auch wir Epidemiologen Fehler (Schluck – bitte sagen Sie das nicht unseren Ehefrauen weiter).

Wir ziehen uns in diesem Kapitel an der eigenen Nase und bringen uns die »gute Praxis« der Epidemiologie in Erinnerung. Lesen Sie bitte weiter, auch wenn Sie selbst kein Epidemiologe sind: Die Fehler anderer sind immer spannend. Außerdem nutzen Sie vielleicht Publikationen epidemiologischer Studien während des Studiums oder bei Ihrer Arbeit. Dann sollten Sie in der Lage sein, den Autoren kritische Fragen zu stellen und typischen Fehlern auf die Spur zu kommen. Dabei helfen Ihnen unsere zehn Tipps.

Keine vorschnellen Schlüsse ziehen

Manchmal hängt der Epidemiologie ein schlechter Ruf an. Da hat wieder einmal ein Epidemiologe in einer Studie einen neuen Risikofaktor in Ihrem täglichen Essen identifiziert, der vorgeblich dramatische Auswirkungen auf die Gesundheit hat. Fette Schlagzeilen in allen Zeitungen drängen Sie daraufhin, Ihre Diät komplett umzustellen, da Sie sonst unweigerlich an Krebs sterben. Ein halbes Jahr lang ernähren Sie sich nur noch von rohen Gurken. Dann stellt sich heraus, dass die Schlussfolgerungen der Studie irgendwie fehlerhaft waren. Eine ganz neue Studie zeigt nämlich: Eine ausgewogene Ernährung, zu der gelegentlich auch einmal ein Steak gehören darf, schadet Ihrer Gesundheit nicht. Was werden Sie dem Autor der ersten Studie sagen, wenn Sie ihm begegnen? (Uns fällt unweigerlich das Wort »Gurke« ein.)

Der große englische Epidemiologe Sir Richard Doll redete seinen Kollegen mit folgenden Worten ins Gewissen: »Wenn Sie etwas herausfinden, das unerwartet und von großer gesellschaftlicher Bedeutung ist, müssen Sie wirklich sicher sein, dass Sie Recht haben, bevor Sie damit an die Öffentlichkeit gehen.«

Wenn Epidemiologen neue Ergebnisse publizieren, die die Menschen beunruhigen könnten, müssen sie besonders kritisch prüfen, ob ihre Studie methodisch solide angelegt war. Oft ist es ratsam, die Studie zunächst in einer anderen Bevölkerung oder mit einem anderen Design zu wiederholen, um so die Ergebnisse zu überprüfen.

Die nächsten fünf Tipps helfen Ihnen zu beurteilen, ob eine Studie methodisch solide ist. Vier weitere Tipps betreffen Probleme bei der Kommunikation der Ergebnisse.

Mit einer klaren Fragestellung beginnen

Jede epidemiologische Studie muss eine klare und wissenschaftlich überprüfbare Fragestellung haben. Eine Frage wie »Ist elektromagnetische Strahlung schädlich?« ist zu unpräzise, um sie bearbeiten zu können. Es bleibt unklar, wer durch welche Form von elektromagnetischer Strahlung was für Schäden davontragen soll. Besser ist: »Erkranken langjährige Vielnutzer von Mobiltelefonen häufiger an Hirntumoren als Wenignutzer?« Aus einer Forschungsfrage und dem erläuternden Text müssen Sie Folgendes erkennen können:

Was ist die Exposition (also der vermutete »Risikofaktor«)?
Wie wird die Exposition quantifiziert? (Dosis und Zeitdauer)
Was ist der Outcome?
Wie lässt sich eindeutig feststellen, ob der Outcome eingetreten ist oder nicht?

Statt einer Fragestellung finden Sie oft eine Hypothese. Das ist eine als Aussage formulierte Fragestellung, also etwa »Langjährige Vielnutzer von Mobiltelefonen erkranken häufiger an Hirntumoren als Wenignutzer«. Auch hier müssen Exposition und Outcome präzise definiert sein.

Geeignete Stichprobengröße wählen

Wenn die Geburtstagstorte zu klein ist, gehen Ihre Gäste hungrig nach Hause. Kaufen Sie eine zu große Torte, bleibt Ihnen kein Geld mehr für den Kaffee, und Ihre Gäste sind auch nicht glücklich. Die geeignete Tortengröße will also gut geplant sein.

Bei epidemiologischen Studien ist das nicht anders. Nehmen Sie an, eine Studie soll klären, ob Pökelfleisch ein Risikofaktor für Magenkrebs ist. Wenn die Studie eine zu kleine Zahl von Teilnehmern hat, finden Sie vielleicht einen solchen Zusammenhang nicht, obwohl er in Wirklichkeit besteht. Dann hat die Studie niemandem geholfen. Ist die Studie aber viel größer als erforderlich, verbrauchen Sie mehr Forschungsgelder als notwendig. Und die fehlen dann an einer anderen Stelle.

Epidemiologen müssen vor jeder Studie die erforderliche Anzahl von Studienteilnehmern berechnen. Sie richtet sich in einer Kohortenstudie nach der Häufigkeit des Outcomes unter den Nichtexponierten sowie nach dem erwarteten Relativen Risiko, also der Stärke der Assoziation zwischen Exposition und Outcome (beide Messgrößen müssen die Epidemiologen schätzen, wenn sie vorab nicht verfügbar sind).

Raten statt absolute Zahlen analysieren

Vier Fälle von Harnblasenkrebs unter Arbeitern einer Gummifabrik! Wenn Sie diese Überschrift in der Zeitung lesen und selbst in einer solchen Fabrik arbeiten, machen Sie sich Sorgen und haben schlaflose Nächte. Zu Recht? Sollten Sie den Job kündigen?

Es kommt ganz darauf an. Wenn es sich um eine kleine Fabrik mit nur wenigen Arbeitern handelt, die innerhalb des gleichen kurzen Zeitraums erkrankten, besteht in der Tat Anlass zu großer Sorge. Treten die Fälle aber in einem Unternehmen mit mehreren Zehntausend Mitarbeitern im Verlauf von vielen Jahrzehnten der Produktion auf, muss Ihnen das vielleicht nicht den Schlaf rauben.

Sie sollten zunächst eine Inzidenzrate berechnen (Zahl der Neuerkrankungen an Blasenkrebs pro 1.000 Arbeiter und Jahr). Das kennen Sie aus Kapitel 5. Dann vergleichen Sie die Inzidenzrate in der Bevölkerungsgruppe der Chemiearbeiter mit der Inzidenzrate in einer nicht exponierten Bevölkerungsgruppe (welche Gruppe geeignet ist, erfahren Sie im nächsten Tipp). Vielleicht besteht gar kein Unterschied. Dann war der Arbeitsschutz ausreichend, die Krebsfälle haben vermutlich andere Ursachen.

Absolute Zahlen allein reichen nicht für Schlussfolgerungen. Sie müssen Sie zunächst in Bezug zu Bevölkerungen und zu einem Zeitraum setzen, also Inzidenzen berechnen. Dann vergleichen Sie die Inzidenz in der exponierten Gruppe mit der Inzidenz in einer nicht exponierten Gruppe, indem Sie das Relative Risiko berechnen. Wie das geht, erklären wir Ihnen in Kapitel 6.

Geeignete Vergleichsgruppe wählen

Wenn Sie uns nach dem vorangehenden Tipp unsauberes epidemiologisches Denken vorhalten, dann haben Sie Recht. Ein Vergleich zwischen einer exponierten und einer nicht exponierten Gruppe beispielsweise in einer Kohortenstudie führt nur dann zu aussagekräftigen Ergebnissen, wenn Sie die Vergleichsgruppe in geeigneter Weise ausgewählt haben.

Wenn Sie Gesundheitsrisiken von Arbeitern einer Gummifabrik untersuchen wollen, ist die Gesamtbevölkerung keine geeignete Vergleichsgruppe: Arbeiter sind im Durchschnitt gesünder (sonst hätten sie den Job gar nicht bekommen). So würden Sie die tatsächliche Gesundheitsbelastung der Arbeiter unterschätzen. Besser geeignet sind Personen, die in der gleichen Fabrik, aber an weniger exponierten Arbeitsplätzen arbeiten.

Im Idealfall unterscheiden sich die exponierte Gruppe und die nicht exponierte Vergleichsgruppe in einer Kohortenstudie nur durch die Exposition, deren Auswirkung Sie untersuchen wollen. Alle anderen Faktoren wie allgemeiner Gesundheitszustand, Alter und Sozialstatus sollen im Mittel ähnlich sein.

Mögliches Confounding bedenken

»Männer kriegen dünnes Haar« und »Männer kriegen ‘nen Herzinfarkt«, so singt Herbert Grönemeyer. Und tatsächlich: Männer mit Glatze haben ein höheres Herzinfarktrisiko als ihre Geschlechtsgenossen mit vollem Haupthaar. Ist Glatzenbildung also ein Risikofaktor für Herzinfarkt?

Nein. Die verdächtigte Exposition »Glatzenbildung« nimmt mit dem Alter zu. Im Alter steigt aber auch das Risiko des Outcomes »Herzinfarkt«. Das Alter ist der eigentliche Risikofaktor für Herzinfarkt, nicht die Glatzenbildung. Das lässt sich daran erkennen, dass mit zunehmendem Alter auch das Herzinfarktrisiko von Männern ohne Glatze steigt. Alter ist hier ein »Confounder«, also eine Störgröße, die einen Zusammenhang zwischen Glatze und Herzinfarkt vorgaukelt, der nicht wirklich besteht. Ein solches Vorgaukeln nennen die Epidemiologen »Confounding«.

Confounder können einen Zusammenhang vorspiegeln, der nicht wirklich besteht, und damit zu Fehlschlüssen führen. Epidemiologen müssen vor jeder Studie überlegen, welche Confounder auftreten könnten (am häufigsten sind das Alter und sozioökonomischer Status) und diese zusätzlich zur untersuchten Exposition messen. In der Analyse prüfen sie dann, ob der Outcome zu weiten Teilen oder ganz durch den Confounder bedingt ist, und nicht durch die zunächst verdächtigte Exposition. So vermeiden sie Fehlschlüsse durch Confounding.

Enttäuschende Ergebnisse nicht verschweigen

Versetzen Sie sich in die Rolle eines überarbeiteten Epidemiologen: Sie haben über viele Jahre eine Studie zu Ihrem Lieblingsthema durchgeführt. Nun liegen endlich die Ergebnisse vor, und dann zeigt sich: nichts. Vielleicht haben Sie mit einer Kohortenstudie erforscht, ob Biertrinker ein geringeres Schlaganfallrisiko haben als Abstinenzler. Oder Sie haben in einer Interventionsstudie die Wirksamkeit von Anti-Rauch-Postern in Diskotheken auf den Zigarettenkonsum Jugendlicher untersucht. Ergebnis beider Studien: kein Effekt. Bier schützt so wenig vor Schlaganfall wie Poster vor dem Rauchen. Große Enttäuschung!

Was nun? Ergebnisse in die Schublade und neues Thema bearbeiten? Bitte nicht!

Ergebnisse einer sauber durchgeführten epidemiologischen Studie sind auch dann wissenschaftlich wertvoll, wenn sie keinen Zusammenhang zwischen Exposition und Outcome finden. Epidemiologen sollten diese Ergebnisse zumindest ihren Kollegen zugänglich machen. Das hilft einerseits, widersprechende Ergebnisse früherer Studien kritisch zu bewerten. Andererseits kann es davor schützen, dass andere Forscher aus Unkenntnis früherer Studien zu oft das gleiche Thema aufgreifen.

Wichtig ist, dass die Herausgeber wissenschaftlicher Zeitschriften mitziehen. Die sind aber mehr an Artikeln interessiert, die zeigen, dass eine Exposition zu einer Krankheit führt oder vor ihr schützt – Aufmerksamkeitswert und Leserinteresse sind dann höher.

Ergebnisse klar kommunizieren

Epidemiologen lernen während ihrer Ausbildung, mit Zahlen und Daten umzugehen und mögliche Fehlerquellen zu bedenken. Sie lernen auch, sich wissenschaftlich korrekt auszudrücken – nur so wird ihre Doktorarbeit angenommen und ihr Artikel publiziert. Die wenigsten Epidemiologen lernen Wissenschaftskommunikation. So kommunizieren sie in der Öffentlichkeit wissenschaftlich korrekt, aber in Fachsprache oder mit Zahlen, die für Laien nur schwer nachvollziehbar sind.

Besonders offensichtlich ist das beim Relativen Risiko. Eine epidemiologische Studie zeigt: Kinder unter fünf Jahren, die innerhalb eines Radius von fünf Kilometern um ein deutsches Kernkraftwerk leben, haben ein doppelt so hohes Risiko, an Leukämie zu erkranken wie anderswo lebende Kinder. Wir sind selbst Eltern und können nachvollziehen, dass diese Information einer Risikoverdoppelung alarmierend klingt. Wenn Sie sich ein umfassendes Bild machen wollen, benötigen Sie aber noch weitere Informationen:

Wie hoch ist überhaupt das Risiko eines Kindes, an Leukämie zu erkranken? (Zum Glück klein, es verdoppelt sich also ein kleines Risiko.)
Ist es sicher, dass der Zusammenhang zwischen dem Leben nahe einem Atomkraftwerk und Leukämie ursächlich ist? (Die Autoren der Studie konnten das nicht sicher feststellen.)
Falls der Zusammenhang ursächlich ist, welcher Anteil aller kindlichen Leukämiefälle geht auf Kernkraftwerke zurück? Wie hoch ist also das »attributable Risiko«, das wir Ihnen in Kapitel 6 vorstellen? (Ebenfalls klein. Wenn alle Atomkraftwerke stillgelegt würden, bliebe ein großer Teil der kindlichen Leukämiefälle davon unbeeinflusst, da er andere Ursachen hat.)
Sind Kohlekraftwerke als alternative Energiequelle sicherer? (Unklar. Sie stoßen ständig kleine Mengen radioaktiver Kohlenstoffverbindungen aus.)

Epidemiologen dürfen Risiken weder verharmlosen noch übertreiben. Wenn sie aber aus lauter Vorsicht nur auf »Epidemiologisch« kommunizieren, haben Laien besonders große Schwierigkeiten, ein Risiko einzuschätzen und mit anderen Alltagsrisiken zu vergleichen.

Mit den Medien umgehen lernen

Mit Laien gut kommunizieren zu können reicht leider nicht aus. Epidemiologen haben es ja zunächst mit den Medien zu tun. Wissenschaftsjournalisten sind meist bereit und in der Lage, differenzierte Erklärungen nachzuvollziehen. Sie verstehen den Fachmann vielleicht sogar, der auf »Epidemiologisch« zu ihnen spricht.

Für brisante Themen interessiert sich aber auch die Boulevardpresse. Deren Journalisten sind oft auf der Jagd nach der guten Schlagzeile. So wird aus einer vorsichtig formulierten Stellungnahme schnell eine knackige Aussage ähnlich der, die wir Ihnen zu Beginn dieses Kapitels vorgestellt haben.

Wenn Sie als Epidemiologe selbst an die Öffentlichkeit treten wollen oder müssen, machen Sie sich mit den Herausforderungen der Wissenschaftskommunikation vertraut. Ein Seminar mit Medienfachleuten kann Ihnen helfen, typische Fehler in der Kommunikation zu vermeiden.

Risiken realistisch einschätzen

Wie sagt das Sprichwort so treffend: »Der Wegweiser muss den Weg nicht gehen, den er anzeigt«. Auch viele Epidemiologen handeln frei nach diesem Motto. Anstatt ihrer eigenen Gesundheitsbotschaft zu folgen und aufzuhören, rauchen sie mit Genuss weiter. Zur Finanzierung dieses Vergnügens peilen sie den Jackpot im Zahlenlotto an. Wenn sie aber in ein Flugzeug einsteigen, beschleicht sie ein mulmiges Gefühl.

Die Zahlen zu allgemeinen Lebensrisiken zeigen ein ganz anderes Bild. Das Risiko, im Verlaufe der nächsten zehn Jahre vorzeitig an einer der folgenden Ursachen zu sterben, liegt ungefähr so hoch:

Flugzeugabsturz 1:10 Millionen
Blitzschlag 1:600.000
Autounfall 1:1.000
langjähriges Rauchen von 20 Zigaretten am Tag 1:100 (oder sogar 1:25 – das hängt natürlich von Rauchdauer und Lebensalter ab)

Zum Vergleich: Wenn Sie ein Feld auf dem Lottoschein ausfüllen, stehen Ihre Chancen auf sechs Richtige plus Superzahl bei ungefähr 1:140 Millionen. Und wenn Sie Pech haben, müssen Sie den Jackpot auch noch mit anderen Spielern teilen.

Warum gehen wir so wenig rational mit Risiken um? Mit dieser Frage befassen sich Risikoforscher. Sie haben herausgefunden, dass wir Menschen

altbekannte, freiwillig eingegangene und scheinbar kontrollierbare Risiken (Auto fahren) weniger bedrohlich empfinden als neuartige, von außen auferlegte oder nicht beeinflussbare (Gentechnologie, Atomkraftwerke, Fliegen)
viele einzelne Ereignisse (tödliche Autounfälle) weniger bedrohlich empfinden als ein großes Schadensereignis (Flugzeugkatastrophe)
nach langer Zeit eintretende Schäden (durch Rauchen) weniger bedrohlich empfinden als sofort eintretende (Autounfall)

Das nehmen wir uns zu Herzen und ziehen zum Ende dieses Kapitels einen Schluss, von dem wir fest überzeugt sind, dass er nicht vorschnell ist:

Ob Sie Epidemiologe sind oder nicht: Hören Sie auf zu rauchen und spielen Sie kein Lotto mehr. Fliegen Sie für das gesparte Geld in den Urlaub!