Wahlkampfplanung, Daten und Statistik. Und die Experten.

Ich habe heute zwei sehr interessante Artikel gelesen:

Hat Clintons Algorithmus versagt?

und

Guest post: the foreclosure vote

„Foreclosure homes“ sind Häuser, die zwangsversteigert werden.

Beide Artikel geben Hinweise, dass Hillary Clinton mit ihrem ausgeklügelten computerbasierten „Wählerkontakteprogramm“ wesentliche Wählergruppen nicht erreicht hat, weil die Qualität der Daten zu schlecht war.

Das kann passieren.

Es hat aber vor allem mit dem Glauben an die Überlegenheit von auf Algorithmen beruhenden Entscheidungssysteme zu tun.

Viele solcher Systeme werden ja mit dem Argument „sie müssen nichts von den Methoden und Theorien verstehen, die Daten werden ihnen gute Prognosen liefern“ vermarktet.

Was da der Clinton-Kampange passiert ist zeigt, wie falsch derartiges Denken ist.

Alle Prognosemodelle sind – wie der Name sagt – Modelle; sie beruhen also auf bestimmten Annahmen, das sind in der Regel mathematische Gleichungen, die Zusammenhänge quantifizieren, indem sie aus vorliegenden Daten z.B. errechnen, welche Werte bestimmte Variable annehmen.

Wenn man so ein Modell verwendet, dann sollte man verstehen, wie es funktioniert und auf welchen Annahmen es beruht. Und man sollte auch über die Datenqualität Bescheid wissen. Man sollte auf keinen Fall Daten einfach übernehmen und einfach davon ausgehen, das die korrekt sind. Das Problem ist ernsthaft arbeitenden Statistikern bekannt; es gibt mittlerweile eigene „Werkzeugkästen” für data tidying and cleansing, also Datenputzen.

In den vielen Projekten, die ich als statistischer Konsulent gemacht habe, ist mir noch kein einziger Fall untergekommen, wo die Daten im Originalzustand schon die für eine sinnvolle Auswertung oder Prognose notwendige Qualität hatten.

Die Probleme, die diese beiden Artikel beschreiben, könnte man auch unter den Begriffen „Data Science ist noch nicht Statistik“ zusammenfassen.

Data Science wird oft verkauft als automatisiertes Werkzeug zum Gewinnen von Erkenntnissen aus Daten,
bei denen man sich ein gründliches Eingehen auf die Modellannahmen ersparen kann.

Das kann bei Problemen, die durch vorgefertigte Standardmodelle abgedeckt werden, immer wieder einmal gut gehen. Es kann aber auch – und das scheint in der Clinton-Kampangne passiert zu sein – gewaltig schief gehen.

Viel Denkarbeit (also Auseinandersetzung mit der Modellbildung) kann nicht automatisiert werden, und ebenso kann die Beurteilung, ob die Datenqualität zur Beantwortung bestimmter Fragen ausreichend ist, nicht automatisiert beantwortet werden.

Wenn man Modelle verwendet und daraus Prognosen und Analysen ableitet, dann ist es auch sehr wichtig, klar zu kommunizieren, welche Teile der Ergebnisse auf echten Daten beruhen, und welche Teile Szenarien – also denkmögliche Varianten eines Sachverhalts – beschreiben.

Wenn man am Abend einer Wahl zu einem Zeitpunkt, wo die Briefwahlstimmen noch nicht ausgezählt sind, Wählerstromanalysen publiziert und so tut, als wären da schon die Briefwählerstimmen mitberücksichtigt, dann verkauft man nämlich die Konsumenten für dumm.

Bei der letzten Bundespräsidentenwahl wurden etwa 1/6 der Stimmen als Briefwahlstimmen abgegeben.
Diese Daten hat es am Wahlabend noch nicht gegeben. Trotzdem wurde eine Wählerstromanalyse inklusive Briefwahlstimmen publiziert. Es wurde in keiner Form darauf hingewiesen, dass 1/6 der Daten dieser Analyse fiktiv war, sie beruhten nämlich auf einer Prognose für Wahlkartenstimmen, also einer Wahlhochrechnung für diese Stimmen. Dafür gab es aber zum Zeitpunkt der Analyse keine Daten.

So etwas zu tun ist in meinen Augen wissenschaftlich unredlich.

Man gaukelt den Medienkonsumenten eine Genauigkeit der Analyse vor, die weder durch die Datenlage
noch durch eine ausreichend unumstrittene Modellbildung zu rechtfertigen ist.

Und jetzt noch eine dringende Leseempfehlung: wie solche automatisierten Entscheidungsprozesse zu politisch und gesellschaftlich sehr gefährlichen Folgen führrn können kann man im Buch

Weapons of Math Destruction von Cathy O’Neill

nachlesen. Ihre Website mathbabe.org ist es ebenfalls wert, regelmäßig besucht zu werden. (Auf dieser Website findet sich auch der zweite in diesem Blogbeitrag zitierte Artikel).