Ökonomische Wahrheiten, Wissenschaftliche Forschung und Excel
Einr leicht gekürzte Fassung dieses Artikels ist am 20. Juli 2013 in der
Wiener Zeitung erschienen
Kenneth Rogoff ist Professor für Ökonomie an der Harvard University und in der ganzen Welt anerkannt. Dort ist auch Carmen Reinhart Professorin. Die beiden haben 2009 und 2010 in mehreren Publikationen festgestellt, dass eine Staatsschuldenquote von mehr als 90% (gemessen am BIP) sich sehr negativ auf das Wirtschaftswachstum auswirkt. Wenn Autoritäten dieses Kalibers so etwas behaupten, dann wird das natürlich oft in dem Medien zitiert und viele Politiker verwenden diese wissenschaftliche Erkenntnis als Rechtfertigung für ihre Forderungen nach mehr Sparanstrengungen zur Eindämmung der Staatsverschuldung.
Ein Wesenszug der Wissenschaft ist es, dass man publizierte Ergebnisse und Behauptungen sehr kritisch überprüft. Deshalb haben Kollegen der beiden versucht, die Analyse nachzuvollziehen. Das ist lange Zeit hindurch nicht gelungen. Es war nicht ganz klar, welche Daten da eigentlich verwendet wurden, und es war auch nicht ganz klar, welche Berechnungen zum Ergebnis geführt haben.
Seit einigen Tagen gibt es jetzt einen neuen Bericht der drei Wissenschafter Thomas Herndon, Michael Ash, and Robert Pollin von der University of Massachusetts, Amherst. Sie haben die Daten von Rogoff und Reinhart bekommen und versucht, die Analyse der beiden nachzuvollziehen. Dabei stießen sie auf drei Probleme. Erstens: Die Ausgangsdaten von Reinhart und Rogoff stammen aus 20 Ländern und betreffen die Jahre 1946-2009. Allerdings wurden manche Jahre aus manchen Ländern nicht in die Berechnungen einbezogen, und es gibt keine schlüssige Begründung, warum diese Daten aus der Analyse ausgeschlossen wurden. Zweitens: Die Analysen werden nicht mit den verfügbaren Einzeldaten gerechnet, sondern die Daten wurden in Gruppen zusammengefasst und innerhalb Gruppen pro Land Mittelwerte errechnet. In der Analyse werden dann nur die Mittelwerte verwendet. Problematisch dabei ist, dass die Anzahl der Werte pro Land in den Gruppen verschieden gross ist und daher bei der Mittelwertsbildung die einzelnen Daten sehr verschieden gewichtet werden. Drittens: bei der Berechnung in Excel wurde eine falsche Formel verwendet. Die Daten aus 5 der 20 Länder wurden durch diesen Formelfehler aus den endgültigen Berechnungen ausgeschlossen.
Die drei Wissenschafter aus Amherst haben zunächst mit etwas Mühe diese drei Probleme identifiziert und dann alle Berechnungen noch einmal durchgeführt. Dabei blieb das politisch so bedeutsame Ergebnis von Reinhart-Rogoff auf der Strecke, die Wachstumsrate der untersuchten Volkswirtschaften ist auch bei einer Verschuldungsrate von über 90% nicht dramatisch niedriger als bei einer geringeren Verschuldungsrate. In beiden Analysen wurden die Daten in 4 Gruppen eingeteilt:
- Jahre mit höchstens 30%,
- zwischen 30% und 60%,
- zwischen 60% und 90% und
- mehr als 90% Verschuldung.
Die BIP-Änderungsraten aller Länder wurden für die in diese Gruppen fallenden Jahre jeweils gemittelt. Ein Vergleich der urspünglichen Ergebnisse von Reinhart-Rogoff und der von Herndon-Ash-Pollin korrigierten Ergebnisse sieht so aus:
| 0%-30% | 30%-60% | 60%-90% | 90+% | |
|---|---|---|---|---|
| Reinhart-Rogoff | 4,1% | 2,8% | 2,8% | -0,1% |
| Herndon-Ash-Pollin | 4,2% | 3,1% | 3,2% | 2,2% |
Es gibt also schon die Grundtendenz, dass das Wachstum mit zunehmender Verschuldung geringer wird, aber die plakative Feststellung, dass es ab 90% Verschuldung dramatische Einbrüche beim Wachstum, ja sogar Schrumpfen gibt, ist wohl nicht haltbar.
Warum hat niemand das früher entdeckt? Weil es in der Wissenschaft noch nicht allgemein üblich ist, bei publizierten Ergebnissen dafür zu sorgen, dass Interessierte die Analyse so vollständig wie möglich nachvollziehen und überprüfen können. Man muss kein promovierter Volkswirt sein, um die Schwachstellen in den behaupteten Ergebnissen zu finden, die notwendigen mathematischen Kenntnisse gehen über die Grundrechnungsarten nicht hinaus. Man braucht allerdings die Originaldaten, oder zumindest eine Beschreibung, die genau genug ist, genau diese Originaldaten selbst am Internet zu finden. Dabei wäre es ganz einfach gewesen. Die gesamten Ausgangsdaten samt Analyse sind eine eher kleine Excel-Datei. Die hätten die Autoren einfach ins Internet stellen und auf ihrer Website verlinken können, und schon wäre Forschung insgesamt wieder ein Stückchen transparenter geworden.
In der universitären und forschungsorientierten Statistik gibt es seit einigen Jahren das Thema „Reproducible Research“. Dabei handelt es sich vereinfacht gesagt um die Entwicklung von Software, die es ermöglicht, Daten und Analysen gemeinsam so zur Verfügung zu stellen, dass weiteren Forschern (oder auch anderen Interessierten) das Nachvollziehen und Überprüfen möglichst einfach gemacht wird. Eines der ersten Werkzeuge dieser Art wurde übrigens von einem österreichischen Wissenschafter, Friedrich Leisch, jetzt an der Universität für Bodenkultur, entwickelt und ist international in Fachkreisen sehr bekannt.
Wie wichtig die Überprüfung von Forschungsergebnissen ist zeigt auch ein Beispiel aus der Medizin. Anil Potti, Mediziner an der Duke University, publizierte als sensationell eingestufte Ergebnisse, mit denen man, wenn sie stimmen, für einzelne Patienten massgeschneiderte Therapien für bestimmte Krebsformen entwickeln könnte. Als andere Forscher versuchten, die Ergebnisse zu reproduzieren, scheiterten sie. Die Daten der Pottischen Untersuchungen standen zunächst nicht komplett zur Verfügung. Aber selbst in den verfügbaren Teilen der Daten liessen sich (mit relativ großer Mühe und statistischer Detektivarbeit) Inkonsistenzen und ziemlich schwere Fehler nachweisen. Als diese Kritik in einer statistischen und nicht in einer medizinischen Zeitschrift veröffentlicht wurde, wurden einige der medizinischen Arbeiten zurückgezogen und Anil Potti wurde von der Universität entlassen. Die publizierten Ergebnisse waren einfach nicht haltbar.
Auch in Österreich hatten wir ein Problem mit unvollständig publizierten Daten.
Als die Ergebnisse von PISA 2003 bekanntgegeben wurden war in der gesamten Medienlandschaft von einem Absturz die Rede. Im Nachhinein hat sich dann herausgestellt, dass es bei PISA 2000 eine systematische Verzerrung der österreichischen Ergebnisse durch falsche Gewichtung der Untergruppen Schultyp und Geschecht gegeben hatte. PISA publiziert sehr viele Daten, aber es war mit den veröffentlichten Daten alleine nicht möglich, den Fehler zu entdecken und zu korrigieren, weil die Information über den Schultyp in diesen Daten „geschwärzt“ war. Auch hier war ein vergleichsweise aufwändiger Prozess notwendig, um Zugang zu diesen Daten zu bekommen und die Fehler und ihre Ursachen so genau zu identifizieren, dass eine Korrektur möglich war.
In allen drei Fällen waren die behandelten Forschungsfragen von großem öffentlichen Interesse. Wären die Ergebnisse richtig gewesen, dann hätten sie entweder zu weitreichenden politischen Folgerungen oder zu einigermassen dramatischen medizinischen Fortschritten führen können.
In allen drei Fällen war es für andere Forscher zunächst immens schwierig, die Ergebnisse zu überprüfen oder gar zu korrigieren. Man sollte daher in Zukunft bei Forschungsergbnissen von grosser Tragweite immer zwei Fragen stellen: Wer hat das überprüft und welches Material stand dabei zur Verfügung? Und besser noch: Kann ich die Daten bekommen, damit ich mich selbst davon überzeugen kann, dass das, was da gesagt wird, auch stimmt?
Zum Artikel von Herndon-Ash-Pollin
Wikipedia-Eintrag zu Anil Potti
Probleme bei PISA 2000 und 2003 in Österreich