Wahlumfragen taugen nicht f\u00fcr Prognosen<\/p><\/blockquote>\n
publiziert. Dieser Artikel ist eine leicht modifizierte Form des folgenden Textes:<\/p>\n
Bei der Gemeinderatswahl in Wien war die 17-Uhr-Prognose des ORF ziemlich weit vom Endergebnis entfernt. Insbesondere gab es Fehlinformationen \u00fcber Gleichstand oder Vorsprung zwischen SP\u00d6 und FP\u00d6. Die erste Hochrechnung (um 18 Uhr) war dann schon sehr treffsicher; insbesondere prognostizierte sie schon den deutlichen Abstand zwischen SP\u00d6 und FP\u00d6.
\nWieso konnte die erste Prognose so schiefgehen?
\nDie Wahlprognose von 17 Uhr beruhte auf einer Umfrage, die Hochrechnung um ca. 18 Uhr dagegen auf tats\u00e4chlichen Wahlergebnissen aus Wahlsprengeln. Der Ausz\u00e4hlungsgrad der ersten Hochrechnung betrug 13,9%. Wieso gab es um 17 Uhr noch kein zuverl\u00e4ssige Hochrechnung?
\nBei den Wiener Wahlen schlie\u00dfen alle Wahllokale gleichzeitig um 17 Uhr. Bei anderen Wahlen (Landtagswahlen, Nationalratswahlen, Bundespr\u00e4sidentenwahlen) gibt es viele Wahllokale, die schon fr\u00fcher schlie\u00dfen. Daher stehen bei den anderen Wahlen beim Wahlschluss (bei bundesweiten Wahlen um 17 Uhr, bei manchen anderen Wahlen fr\u00fcher) schon viele ausgez\u00e4hlte Ergebnisse zur Verf\u00fcgung. In Wien gab es um 17 Uhr noch kein ausgez\u00e4hltes Sprengelergebnis.
\nDaher wurde im ORF beschlossen, eine Prognose auf Grundlage einer sehr knapp vor der Wahl durchgef\u00fchrten Umfrage durchzuf\u00fchren. Laut Beschreibung der ORF-Hochrechner wurden dazu in den letzten Tagen vor der Wahl etwa 2200 Wahlberechtigte telefonisch befragt. Die prognostizierten Parteienanteile wurden allerdings nicht direkt dieser Umfrage entnommen, sondern mit Hilfe einer R\u00fcckerinnerungsfrage (\u201ewelche Partei haben sie denn das letzte Mal gew\u00e4hlt\u201c) nachjustiert. Die Forscher des SORA-Instituts sagen, dass es offensichtlich bei der R\u00fcckerinnerungsfrage zu Problemen gekommen und daher die Nachjustierung der Umfrageergebnisse schiefgegangen ist.
\nWahlprognosen zum Wahlschluss ohne ein einziges ausgez\u00e4hltes Teilergebnis gibt es auch in Deutschland. Dort darf n\u00e4mlich erst mit der Ausz\u00e4hlung begonnen werden, wenn alle Wahllokale bereits geschlossen haben. Die 18-Uhr-Prognosen in Deutschland (dort ist der Wahlschluss sp\u00e4ter) sind ziemlich treffsicher. Wie schafft man das in Deutschland?
\nDie Prognosen in Deutschland beruhen nicht auf Umfragen vor der Wahl, sondern auf exit polls. Bei einem der beiden Forschungsinstitute, die solche Prognosen erstellen, n\u00e4mlich bei infratest-dimap, geschieht das so: Bei bundesweiten Wahlen werden mehrere hundert Wahlsprengel nach statistischen Kriterien ausgew\u00e4hlt (bei der letzten Bundestagswahl 640) und die W\u00e4hler in diesen Wahlsprengeln gebeten, auf einem Fragebogen ihre gerade getroffene Wahlentscheidung anzukreuzen sowie einige weitere Daten \u00fcber sich zu machen (Geschlecht, Alter usw.). Diesen Fragebogen werfen sie dann selbst in eine Urne. Die Urne wird im Laufe des Tages mehrmals geleert und die jeweiligen Zwischenergebnisse an die Prognosezentrale \u00fcbermittelt. Insgesamt wurden bei der letzten Bundestagswahl etwa 100.000 W\u00e4hler so befragt.
\nDiese Form der Prognose unterscheidet sich in wesentlichen Punkten von der bei der Gemeinderatswahl Wien verwendeten Methode.
\nIn Deutschland
\n* werden wesentlich mehr W\u00e4hler befragt
\n* sind die Antworten erkennbar anonymisiert
\n* m\u00fcssen sich die W\u00e4hler nicht an fr\u00fchere Wahlentscheidungen erinnern
\n* werden die Befragten nicht vorab nach ihrer Wahlabsicht sondern unmittelbar nach ihrer Stimmabgabe nach ihrer Wahlentscheidung gefragt.
\nDass ein derartiger gro\u00dfer exit poll deutlich zuverl\u00e4ssigere Resultate liefert als eine im Vergleich dazu kleine vor der Wahl durchgef\u00fchrte Umfrage ist nicht besonders \u00fcberraschend. Nat\u00fcrlich kostet ein derartiger exit poll auch ein Vielfaches einer telefonischen Vorwahlumfrage.
\nEs war eine ziemlich wagemutige Entscheidung von Fernsehanstalten, am Wahltag Wahlprognosen auf Grund von Umfragen vor der Wahl zu publizieren.
\nBei der politischen Umfrageforschung gibt es sowieso Probleme, derer sich vor allem Statistiker schmerzlich bewusst sind.
\nBei Umfragen werden mittlerweile (noch vor wenigen Jahren war das nicht so) Schwankungsbreiten publiziert. Die Schwankungsbreite betr\u00e4gt bei einer 1000er-Umfrage \u00b13,16%, bei einer 400er-Umfrage \u00b15,0%. Auch wenn man sich keine Formeln merken mag gibts daf\u00fcr eine Faustregel: Bei einer Umfrage mit 100 Befragten ist die Schwankungsbreite \u00b110,0%, und bei jeder Vervierfachung des Stichprobenumfangs wird die Schwankungsbreite halbiert. Die Voraussetzung f\u00fcr die Anwendung der dahintersteckenden Formel ist allerdings, dass es sich dabei um eine echte Zufallsstichprobe handelt und dass die Prozents\u00e4tze direkt aus den Rohdaten ohne irgendwelche Nachjustierungen errechnet werden. Beides ist typischerweise bei politischen Umfragen nicht der Fall. Telefonumfragen liefern aus verschiedenen Gr\u00fcnden keine klassischen Zufallsstichproben. Au\u00dferdem wird bei den Umfragen die Zahl der Antwortverweigerer meist nicht dokumentiert. Dadurch alleine ist meist die angegebene Schwankungsbreite schon irref\u00fchrend, die sollte n\u00e4mlich mit der Zahl derer, die eine auswertbare Antwort gegeben haben, berechnet werden, und nicht mir der Anzahl der Befragten. Wenn man nur die Prozents\u00e4tze der auswertbaren Antworten ausweist, dann geht man davon aus, dass das Ergebnis der Antwortverweigerer nicht systematisch anders w\u00e4re als das der Antworter. Dieses Problem versucht man mit \u201eKontrollfragen\u201c teilweise l\u00f6sen. Man geht davon aus, dass man den statistischen Zusammenhang zwischen anderen Fragen und der Wahlentscheidungsfrage kennt, und versucht so, zumindest teilweise die verweigerten Antworten zur Wahlentscheidung zu extrapolieren.
\nWenn man den Konsumenten von Meinungsumfragen dabei helfen will, die Qualit\u00e4t und Zuverl\u00e4ssigkeit der Umfragen einzusch\u00e4tzen, dann sollte man
\n* die Methode der Stichprobenauswahl klar dokumentieren
\n* bei jeder Frage die Zahl der auswertbaren Antworten angeben
\n* zumindest Hinweise auf die Extrapolationsverfahren, mit denen verweigerte Antworten kompensiert werden, geben.
\nMan kann aus der schiefgegangenen Prognose aber auch etwas Grunds\u00e4tzliches lernen: Umfragen sind ein durchaus taugliches Instrument zur Erhebung der momentanen Stimmungslage, als Prognoseinstrument taugen sie aber definitiv nicht. Die auf der Zufallsstichprobenmethodik beruhenden Formeln zur Berechnung der Schwankungsbreiten sind n\u00e4mlich nicht anwendbar, weil die Voraussetzungen daf\u00fcr bei den meisten Umfragen nicht erf\u00fcllt sind.<\/p>\n
Noch etwas weiteres ist anzumerken: es scheint mir etwas naiv, zu glauben, dass man mit den Umfragen, die bez\u00fcglich der Wahlentscheidung definitiv ziemlich weit daneben gelegen sind, halbwegs pr\u00e4zise Aussagen das Wahlverhalten von Untergruppen von W\u00e4hlern (beispielsweise der unter 30-j\u00e4hrigen M\u00e4nner) ableiten kann. Diese Untergruppen sind n\u00e4mlich viel kleiner als die gesamte Stichprobe (unter 30-j\u00e4hrige M\u00e4nner sind etwa 10% der Wahlberechtigten), und daher sind die Stichprobenergebnisse auch viel ungenauer. Bei derartigen Aussagen nur die Schwankungsbreite anzugeben w\u00e4re sogar dann grob verf\u00e4lschend, wenn es sich um eine klassische Zufallsstichprobe handelte.<\/p>\n
Und noch eine Anmerkung scheint mir wichtig. Am Wahlabend wurde bereits eine W\u00e4hlerstromanalyse publiziert, die den Anspruch stellt, alle W\u00e4hlerstr\u00f6me zu erfassen. Bei dieser Wahl wurden allerdings etwas 20% der Stimmen mit Wahlkarten abgegeben, und die meisten davon waren am Wahlabend noch nicht ausgez\u00e4hlt. Die W\u00e4hlerstromanalyse beruht also bei einem wesentlichen Anteil der Stimmen auf einer Trendextrapolation f\u00fcr die Wahlkartenstimmen und nicht auf einer Analyse s\u00e4mtlicher ausgez\u00e4hlter Stimmen. Man sollte also diese Analyse auch mit entsprechender Vorsicht interpretieren. Redlicher erschiene mir, eine W\u00e4hlerstromanalyse nur mit den ausgez\u00e4hlten Stimmen und zus\u00e4tzlich eine Variante mit den extrapolierten Wahlkartenstimmenergebnissen zu publizieren.<\/p>\n
Auch zu den vielen und in vielen F\u00e4llen sehr informativen Landkarten, die auf den Sprengelergebnissen beruhen, ist anzumerken, dass die Sprengelergebnisse keine Wahlkartenstimmen umfassen. Schlussfolgerungen wie \u201ein den Au\u00dfenbezirken war die Wahlbeteiligung h\u00f6her als in den Innenbezirken\u201c k\u00f6nnen durch verschieden hohe Wahlkartenstimmenanteile systematisch verzerrt werden. <\/p>\n
Statistik besteht nicht nur darin, Formeln zu verwenden oder Grafiken aus Daten zu erstellen. Statistik muss auch \u00fcberlegen, ob die vorhandenen Daten genau jene Struktur haben, die man zum Beantworten der interessierenden Fragen braucht. Interpretationen feink\u00f6rniger Wahlergebnisse, bei denen Wahlkartenstimmen nicht so einfach eingerechten werden k\u00f6nnen, k\u00f6nnen durchaus auch verf\u00e4lschte Bilder vermitteln. Und in W\u00e4hlerstromanalysen, die die Wahlkartenstimmen noch sch\u00e4tzen (m\u00fcssen), weil sie noch fehlen, gehen subjektive Annahmen der Analysierenden und nicht nur objektiv ermittelte Daten ein. Das ist durchaus zul\u00e4ssig, sollte aber sehr klar erkennbar gemacht werden. Und Fernsehanstalten sollten sich genau \u00fcberlegen, ob sie wirklich am Wahltag Umfragen als Prognoseinstrumente einsetzen wollen. Wenn sie das wollen, dann sollten sich auch ernsthaft mit Fachleuten dar\u00fcber reden, mit welcher Methode sich welche Prognosegenauigkeit erreichen l\u00e4sst.<\/p>\n