Traue keiner Statistik

Rainer Alexandrowicz zur Frage, wie viel Wahrheit hinter unwahrhaftiger Forschung steckt. Der Psychologe, dessen Schwerpunktfach die Methodenlehre ist, erklärt im Gespräch, dass die Statistik unschuldig ist, aber viel Verantwortung auf jenen lastet, die das wissenschaftliche Instrument einsetzen.

Herr Alexandrowicz, welcher Statistik trauen Sie?

Ich traue jeder seriösen Statistik, die von verantwortungsbewussten Menschen mit einer entsprechenden Ausbildung erstellt wurde. Genauso wie jemand, der einen Autobus lenken möchte, einen entsprechenden Nachweis erbringen muss, sollten auch nur jene Leute Statistiken erstellen, die dafür entsprechend ausgebildet sind. Besonders trifft das auf Statistiken zu, die komplexer sind und gesellschaftliche Relevanz haben. Ich möchte hier nur klärend hinzufügen, dass in Fachkreisen der Begriff „eine Statistik“ – im Sinne eines Ergebnisses einer Analyse, beispielsweise eine Prozentangabe – eher unüblich ist. Der Begriff wird eher zur Benennung des Fachs verwendet.

Gibt es Ihrer Wahrnehmung nach eine ausreichend gute Ausbildung?

Ich kann dies nur für die Psychologie einschätzen, wo wir eine sehr breite Ausbildung zur Verfügung stellen können. Ich denke, es gibt einige Fächer, in denen die Statistikausbildung durchaus intensiviert werden könnte. Statistik spielt heutzutage in sehr vielen Disziplinen eine Schlüsselrolle und muss daher einen entsprechenden Stellenwert auch in der Ausbildung haben, um seriöses wissenschaftliches Arbeiten zu ermöglichen.

Was kann die Statistik – und was kann sie nicht?

Statistik ist ein mathematisch fundiertes Werkzeug und hat daher im Rahmen ihrer Gesetzmäßigkeiten immer Recht. Ich kann sie aber wie jedes Werkzeug missbräuchlich verwenden. Problematisch wird es, wenn statistische Methoden – bewusst oder irrtümlich – auf ungeeignete Daten oder in unzulänglicher Form angewendet oder unbegründete Schlussfolgerungen gezogen werden. Und in allen Fällen führt das zu unsinnigen oder gar irreführenden Aussagen. Das ist aber nicht der Statistik anzulasten, sondern den Ausübenden.

Auf dem statistisch Forschenden lastet also eine große Verantwortung.

Ja, und dieser Verantwortung muss man sich bewusst sein. Man kann mit einer ungünstigen Darstellungsform auch sehr viel Unbill stiften. Ein aktuelles Beispiel sind die unlängst modifizierten Berechnungskriterien für das Bruttoinlandsprodukt – „BIP-Revision der EU“. Die daraus resultierenden Änderungen der Staatsschulden wurden medial sehr emotional diskutiert, natürlich auch unter Verwendung des eingangs genannten und mittlerweile nicht mehr originellen Bonmots. Letztlich ist es eine Frage der Definition, wie diese Werte errechnet werden. Mit der einschlägigen Ausbildung lässt sich das Ergebnis sine ira et studio einschätzen. Große Sensibilität erfordert hingegen die Auswahl der zu berücksichtigenden Kriterien. Das ist allerdings keine statistische Frage, sondern eine inhaltliche, die bei ungenauer Darstellung einseitig „der Statistik“ angelastet wird.

Was sind die Merkmale einer seriösen Statistik?

Wir haben für alle Verfahren klar definierte Voraussetzungen ihrer Anwendung und einen Rahmen ihrer Interpretation. Diese müssen verstanden und beherrscht werden, um sie für eine breitere Öffentlichkeit adäquat aufbereiten zu können. Es gibt für jedes statistische Verfahren spezifische Verteilungsannahmen sowie Voraussetzungen hinsichtlich des Informationsgehalts der verwendeten Daten. Bei inadäquatem Input verkommt der Output leicht zu einem Phantasieprodukt. Andererseits gibt es auch Situationen, wo ich als Anwender eine Entscheidung treffen muss, die auf das Ergebnis Einfluss hat. Beispielsweise gibt es bei manchen Verfahren Berechnungsvarianten mit spezifischen Vor- und Nachteilen. Dann ist es essenziell, meine Wahl klar zu dokumentieren und damit hinterfragbar und somit einer kritischen Diskussion zugänglich zu machen. Die Tücke liegt auch hier wie so oft im Detail – womit wir wieder beim Stellenwert der Ausbildung wären.

Der Interpretierbarkeit sind also Grenzen gesetzt.

Ja, hierfür möchte ich das Beispiel der Korrelation, also einem Maß für die Ähnlichkeit zweier Merkmale, anführen. Die Korrelation ist immer nur die Beschreibung einer Parallelität von Ereignissen, aber für sich genommen kein Beleg für eine zugrundeliegende Kausalität. So wurde beispielsweise vor einigen Jahren in einem Automagazin beschrieben, dass es einen Zusammenhang zwischen der Einführung der Katalysatorpflicht und einem Anstieg bestimmter Krebsarten gebe. Daraus wurde im Artikel geschlossen, dass der Katalysator krebserregend wirkte – womit ganz offenkundig die Grenzen der Interpretierbarkeit überschritten wurden. Zwei Dinge können auch rein zufällig gleichzeitig passieren.

Unterstützt das Universitätssystem „saubere“ wissenschaftliche Arbeit oder ist eher das Gegenteil der Fall?

Wir arbeiten in unserem gegenwärtigen System unter hohem Publikationsdruck. Dabei sind Tendenzen erkennbar, die eher die Quantität als die Qualität des Outputs in den Vordergrund stellen; etwa durch einseitige Konzentration auf scientometrische Kennzahlen – da sind sie wieder, die Statistiken! Das kann – etwa aus Zeit- oder Ressourcengründen – zu unglücklichen Kompromissen in der Detailgenauigkeit führen. Ich möchte hier aber explizit die jüngsten Ansätze der AAU positiv hervorheben, Publikationen auch hinsichtlich ihrer Qualität zu beurteilen. Ein Artikel in einem TopJournal benötigt leicht mehrere Jahre Arbeit. Wenn ich weiß, dass meine Uni dies honoriert, ist das für mich motivierend und für die Wissenschaft ein guter Nährboden.

Können Sie dafür ein Beispiel anführen?

Wir verwenden beispielsweise statistische Kennwerte, die uns sagen, ob ein Fragebogen zuverlässig funktioniert. Für diese Kennwerte gibt es Vereinbarungen oder Konventionen, ab welchem Schwellenwert wir sie als „gut“ qualifizieren und den Fragebogen daher für die Praxis zulassen. Ein Artikel in einem bestimmten Fachbereich gilt als einer der am häufigsten zitierten seines Fachs, weil darin die Herabsetzung einer solchen Konvention vorgeschlagen wird. Eine solche Herabsetzung macht es leichter, einen „guten“ Fragebogen zu entwickeln. Die beiden Autoren dieses Artikels haben das natürlich geschickt gemacht, weil sie mit ihrem Vorschlag hohe Zitationszahlen erreicht haben und sie aus rein scientometrischer Sicht erfolgreich waren. Aus wissenschaftlicher Sicht finde ich eine solche Strategie hingegen nicht gewinnbringend.

Gibt es überhaupt noch einen Raum in der Wissenschaftslandschaft dafür, zu keinem Ergebnis zu kommen?

Es gibt sogar mehrere Fachzeitschriften, die sich auf die Publikation nicht signifikanter Ergebnisse spezialisiert haben. Das sind allerdings Nischenprodukte und werden de facto nicht nachgefragt. Die einseitige Veröffentlichung ausschließlich „erfolgreicher“ Studien hat aber massiven Einfluss auf den Wissensstand und führt zum so genannten publication bias. Auch subtilere Vorgehensweisen, wie das partielle Zurückhalten von Ergebnissen oder das Abbrechen von Studien, wenn diese nicht den gewünschten Erfolg zu zeigen scheinen, können bereits Merkmale von Betrug aufweisen. Aber auch hier sind die Durchführenden verantwortlich, nicht die Statistik.

Gibt es da Unterschiede zwischen den Fachbereichen?

Jeder Fachbereich hat seine eigene Tradition und Schwerpunktsetzung. In vielen Fächern der KuWi, aber auch vielen anderen, stehen uns sowohl quantitative, auf Statistik aufbauende, als auch qualitative Zugänge offen, die sich im Idealfall zu einem ganzheitlichen Zugang integrieren lassen. Letztlich entscheidet die Fragestellung über die anzuwendende Methode. So spielt die statistische Herangehensweise je nach Disziplin und Forschungsfrage mal eine größere und mal eine geringere Rolle. In allen Fällen müssen wir uns an die Regeln des jeweiligen Verfahrens halten.

Wie sensibel ist die Öffentlichkeit dafür?

Bei der medialen Aufbereitung von Statistiken frage ich mich oft, inwieweit der Journalist oder die Journalistin dazu in der Lage ist, die Inhalte korrekt wiederzugeben. Ich nehme aber eine zunehmende Sensibilität für das Wesen statistischer Aussagen wahr. Ein erfreuliches Beispiel sind die Wahlprognosen, bei denen seit einigen Jahren auch die so genannte Schwankungsbreite angegeben wird, was früher nicht gemacht wurde.

Und der einzelne Konsument oder die Konsumentin?

Der mündige Konsument ist stets angehalten, Statistiken infrage zu stellen. Um auf dieses Bonmot, oder für mich eher „Malmot“, Ihrer Eingangsfrage zurück zu kommen: Es gibt natürlich Wissenschaftlerinnen und Wissenschaftler, die in bewusster Absicht Verfahren falsch verwenden oder interpretieren. Aber das ist Betrug, für den nicht die Statistik verantwortlich gemacht werden kann.

Erschienen in UNIsono/Dezember 2014