Sind wir bei PISA wirklich schlechter geworden?

Ich habe gestern einen ersten Kommentar zu den PISA-Ergebnissen für 2015 verfasst.

Das am meisten berichtete Ergebnis war, dass wir uns im Vergleich zu 2012 in allen Gebieten verschlechtert haben.

Nicht berichtet wurde in der Regel, dass es da große geschlechterspezifische Unterschiede gibt.

Die Ergebnisse der Buben beim Lesen sind sogar geringfügig besser, die der Mädchen aber bedeutend schlechter.
In Mathematik und ind den Naturwissenschaften wurden die Ergebnisse sowohl der Buben als auch der Mädchen schlechter,
die Verschlechterung bei dem Mädchen war aber deutlich höher als bei den Buben.

Wenn man nach Erklärungen für diese Unterschiede sucht und die österreichische Dokumentation zu PISA 2015 liest, dann stellt man fest, dass es einen großen Unterschied zwischen PISA 2015 und den früheren PISA-Tets gibt: 2015 wurde (zumindest in allen OECD-Mitgliedsländern, also auch in Österreich) der Test an Computern durchgeführt.

Die OECD hat zwar in der Vorbereitungsphase für PISA 2015 (nämlich 2014) einen Feldtest durchgeführt, um zu untersuchen
ob der Papier-und-Bleistift-Test und der Computertest vergleichbar sind; die OECD berichtet in ihrer internationalen Dokumentation (im Anhang A5) über diese Vergleiche.

Es gibt allerdings ein Riesenproblem:
Österreich hat an dieser vorbereitenden Feldstudie nicht teilgenommen.

Es gibt Hinweise darauf, dass in Deutschland der Computertest schwieriger war als der Papier-und-Bleistift-Test (siehe Zitat weiter unten), vergleichbare Erkenntnisse für Österreich gibt es aber einfach nicht.

Wir haben also keinerlei halbwegs gesichertes Wissen darüber, wie sich die Testumstellung auf die österreichischen Ergebnisse ausgewirkt hat.

Denkbar sind zum Beispiel folgende Effekte:

• In Ländern, in denen in den Schulen Computertests schon im Regelunterricht üblich sind, könnte sich die Umstellung weniger auf das Ergebnis auswirken als in Ländern, wo Computertests im in vielen Schulen Regelunterricht kaum üblich sind (was ich für Österreich annehme)
• Da sich Buben vielleicht außerhalb der Schule eher mit Computern beschäftigen als Mädchen könnte das auch eine Erklärung für die im Vergleich zu früher stark veränderten Geschlechtsunterschiede sein.

Österreich hat am Feldtest 2014 nicht teilgenommen, weil es im Schulbereich in ganz anderem Kontext zu einem Problem mit Datensicherheit gekommen ist und die damalige Bildungsministerin, Frau Heinisch-Hosek, in einer (meiner Meinung nach übertriebenen) Panikreaktion daraufhin alle Vorbereitungsarbeiten für PISA gestoppt hat. Ich habe damals mehrfach darauf hingewiesen, dass es sehr unangenehme Folgen haben kann, wenn wir an der Eichung des neuen Tests nicht teilnehmen.

Genau solche Folgen, die die Aussagekraft der PISA-Ergebnisse drastisch reduzieren, sind jetzt eingetreten.

Hier noch ein Zitat aus dem österreichischen PISA-Bericht des bifie (Seite 1/4), das sich mit dem Unterschied zwischen Papier-und-Bleistift-Tests und Computertests beschäftigt.

Die sogenannten Trenditems (jene Aufgaben, die bereits in früheren Erhebungen eingesetzt wurden), die die Basis für die Messung von Leistungsveränderungen über die Zeit bilden, mussten für PISA 2015 von der Papierversion in eine Computerversion übertragen werden. Dadurch kann sich allerdings die Schwierigkeit der Aufgabe für die Schüler/innen ändern. Um sicherzugehen, dass ein Umstieg von einer papier- auf eine computerbasierte Testung keine Auswirkung auf die Vergleichbarkeit der Ergebnisse der aktuellen Erhebung mit den früheren Erhebungen hat, wurde von der OECD im Rahmen des Feldtests eine Mode-Effect-Studie durchgeführt (vgl. Kapitel 3). Eine Zusammenfassung der Ergebnisse der Mode-Effect-Studie findet sich in Anhang AT des internationalen Ergebnisberichts der OECD (2016a). Die OECD weist darin darauf hin, dass die Ergebnisse zwischen den beiden Erhebungsmodi auf internationaler Ebene (bei Betrachtung aller PISA-Teilnehmerländer) vergleichbar sind. Dies bedeutet, dass sich die durchschnittliche Leistung sowie der Anteil der Schüler/ innen auf den verschiedenen Leistungslevels nicht signifikant unterscheiden würden, wenn die Schüler/innen, die den Test am Computer bearbeitet haben, denselben Test auf Papier absolviert hätten.

Die von der OECD berichteten Ergebnisse der Mode-Effect-Studie sind allerdings mit der Einschränkung verbunden, dass durch das Design dieser Studie lediglich Aussagen über die Schüler/innen aller Teilnehmerländer möglich sind, aber keine aussagekräftigen Rückschlüsse für einzelne Länder. Es kann also durchaus sein, dass in einzelnen Ländern der Wechsel auf eine computerbasierte Erhebung teilweise die Ergebnisse beeinflusst. In Österreich wurde aufgrund der Verschiebung der Projektphasen im Feldtest ausschließlich computerbasiert getestet, sodass von Österreich keine Daten zu Moduseffekten vorliegen und auch keine Daten in die internationale Mode-Effect-Studie eingehen konnten. Für Österreich gibt es also keine Möglichkeit, die Leistungen der Schüler/innen beim herkömmlichen Papier-und-Bleistift-Test mit jenen im Computertest direkt zu vergleichen und damit auch keinen Anhaltspunkt dafür, wie groß eine durch die Erhebungsmodalität bedingte Veränderung (Mode Effect) ausfällt. Für Deutschland liefert der Feldtest 2014 beispielsweise Hinweise darauf, dass die PISA-Aufgaben im Mittel am Computer schwieriger waren als auf Papier. Dabei scheinen die Mode Effects durch den Computer bei den Naturwissenschaftsitems am größten, bei den Lese- items am geringsten zu sein (Sälzer & Reiss, 2016).

Erste Anmerkungen zu den PISA-2015-Ergebnissen

Die PISA-Ergebnisse für 2015 wurden heute veröffentlicht. Die OECD hat nicht alle früheren Ergebnisse angeführt, deswegen weisen wir hier die Ergebnisse aller bisherigen PISA-Tests zur Übersicht aus. Einige Zahlen in dieser Tabelle sind fett gedruckt. Warum? Die OECD ist der Meinung, dass man Längsschnittvergleiche erst ab jenem Zeitpunkt machen sollte, an dem eine der 3 […]

Wahlanalysen für die Steiermark

Ich habe am 15. Oktober einem Vortrag für die Kommunalpolitische Vereinigung der ÖVP Steiermark gehalten. Der Titel war Wähler in der Stadt – Wähler am Land Unterschiede und Gemeinsamkeiten Die KPV hat mir freundlicherweise gestattet, die Vortragsfolien auch öffentlich zur Verfügung zu stellen. Hier sind sie. Diese Webseite funktioniert auf mobilen Geräten nicht besonders gut.

Wahlkarten und Urnenwahl in Deutschland

Da es Gerüchte gibt, dass es nur in Österreich auffällige Unterschiede zwischen Urnenwahlergebnissen und Briefwahlergebnissen gibt, habe ich mir die Ergebnisse der deutschen Bundestagswahl 2013 in dieser Hinsicht angesehen. Die Analyse gtbts auf www.wahlanalyse.com.