Statistik und Politik – wie aussagekräftig sind Meinungsumfragen

In Deutschland versucht man gerade, mit verschiedenen Mitteln den Motiven der PEGIDA-Demonstranten auf die Spur zu kommen. Eines dieser Mittel ist Statistik in Form von Stichprobenbefragungen.

In Österreich will der Wissenschaftsminister (der auch Vizekanzler und Wirtschaftsminister ist) belegen, dass die österreichische Bevölkerung mit vielen Aspekten der Wissenschaftspolitik zufrieden ist. Auch das geschieht mit einer Stichprobenbefragung.

Zu PEGIDA gab es eine Pressekonferenz der TU-Dresden mit einer auch am Web verfügbaren Präsentation.

In dieser Präsentation finden man folgende als zentrales Ergebnis ausgewiesene Aussage:

Der „typische“ PEGIDA-Demonstrant entstammt der Mittelschicht, ist gut ausgebildet, berufstätig, verfügt über ein für sächsische Verhältnisse leicht überdurchschnittliches Nettoeinkommen, ist 48 Jahre alt, männlich, gehört keiner Konfession an, weist keine Parteiverbundenheit aus und stammt aus Dresden oder Sachsen.

Auf der angegebenen Webseite gibt es auch ein Dokument, das die Methodik der Untersuchung beschreibt. Darin liest man, dass die Umfrage an 3 verschiedenen Tagen durchgeführt wurde, und dass etwa 2/3 der Befragten die Antworten verweigert haben. Überhaupt nicht eingegangen wird auf die Möglichkeit, dass da einzelne Befragte mehrfach geantwortet haben, was wegen der drei Fragezeitpunkte ja möglich wäre.

Wenn man als Statistiker in der Methodenbeschreibung dann liest

Gewisse Verzerrungen sind theoretisch nicht auszuschließen.

dann wundert man sich doch. Bei einer derartigen Befragung davon auszugehen, dass sie unverzerrt sein könnte ist ziemlich wagemutig!

Derartige Befragungen haben schon eine Berechtigung. Sie fördern bei einer Problemstellung, wo es noch keinen gesicherten Wissensstand gibt, anekdotische Evidenz über mögliche Motive zutage. Sie lassen aber in keinem Fall Aussagen über die statistische Zusammensetzung der Demonstranten zu. Wenn man die Ergebnisse dann mit Formulierungen wie der „typische“ PEGIDA-Demonstrant präsentiert, dann verläßt man jedoch den Boden der wissenschaftlichen Sauberkeit!

In der Zeit ist ein Artikel erscheinen, der diese methodisch-statistischen Fragen recht sauber darstellt.

Und jetzt nach Österreich.

Vizekanzler und Wissenschaftsministern Mitterlehner hat den Wissenschaftsmonitor präsentiert.

Da geht es um die Einschätzung von Wissenschaftsthemen und Studienbedingungen in der Bevölkerung. Eine Zusammenfassung der Ergebnisse gibts als Download.

In dieser Zusammenfassung liest man, dass die maximale Schwankungsbreite 3,1% beträgt. Man liest auch, dass die Umfrage über meinungsraum.at durchgeführt wurde.

Auf dieser Website findet man auch eine Beschreibung der Methodik.

Darin steht, dass die Befragungen an einer Stichprobe aus dem meinungsraum-Panel durchgeführt werden. Dieses Panel ist aber keine klassische Stichprobe aus der Grundgesamtheit aller erwachsenen Österreicher. Panel-Teilnehmer werden über Websites oder telefonisch rekrutiert. Sie müssen sich bereit erklären, eine oder mehrere Befragungen mitzumachen. Diese Gruppe ist – was Interesse an politischen oder anderen öffentlich relevanten Fragen betrifft – sicher nicht repräsentativ für die österreichische Bevölkerung. Die angegebene Schwankungsbreite soll aber den Eindruck erwecken, dass die Anteile in der Gesamtbevölkerung nicht weiter von den Stichprobenanteilen abweichen. Aus der Sicht der statistischen Methodik kann man damit aber bei einer derartigen „Stichprobenziehung“ nicht rechnen. Die Werte liefern möglicherweise ein Meinungsbild, aber methodisch abgesicherte Schwankungsbreiten kann man wohl kaum zuverlässig ermitteln.

Noch ein interessantes Detail gibt es. In der Beschreibung der Methodik von meinungsraum.at findet man folgende Frage (samt Antwort).

8. Wird das Panel ausschließlich für Marktforschungszwecke eingesetzt?
Ja.

Seit wann gehören Fragen nach der Einschätzung des Wissenschaftsstandorts Österreich zur Markforschung?

Wie sinnvoll die Absicht ist, die gesamte österreichische Bevölkerung zu Thmen der Wisssenschaftspolitik wie etwa

Wie würden Sie Österreich als Standort für Wissenschaft und Forschung beurteilen?

unabhängig von Informationen über den entsprechenden Wissensstand der Befragten zu befragen, steht noch auf einem ganz anderen Blatt. Um dieses Vorgehen einschätzen zu können sind aber keine statistischen Spezialkenntnisse notwendig.