Sind die PISA-Ergebnisse 2012 und 2015 vergleichbar?
In der Diskussion um die PISA-Ergebnisse wird sehr wenig darüber gesprochen, dass bei Abwicklung des Tests eine ziemlich bedeutsame Änderung vorgenommen wurde: 2012 mussten die getesteten Jugendlichen noch mit Arbeitsblättern aus Papier arbeiten, 2015 wurde der Test auf Computern abgewickelt.
Eine derartig radikale Umstellung des Testverfahrens kann natürlich auf die Ergebnisse einen starken Einfluss haben.
Wir sehen uns daher die Testergebnisse in Hinblick auf möglicherweise dadurch verursachte Veränderungen genauer an.
An PISA nehmen so verschiedene Länder wie Österreich, Indien, Japan und Mexiko teil. Da ist zu erwarten, dass es abgesehen von der Abwicklung des Tests noch weitere sehr große für PISA relevante Unterschiede gibt. Beschränken wir uns beim Vergleich auf die EU-Staaten. Es gibt derzeit 27 EU-Länder. Mit Ausnahme von Malta haben alle an PISA 2012 und PISA 2015 teilgenommen, wir untersuchen also 26 Länder.
Sehen wir uns die Lese-Ergebnisse in diese Ländern (gegliedert nach Geschlecht) an.
Lese-Ergebnisse PISA 2012 und 2015 – EU-Staaten
Die drittletzte und die vorletzte Spalte zeigen die Geschlechterdifferenz beim Lesen für alle 26 Länder.
In allen untersuchten Ländern schneiden die Mädchen in beiden Testperioden beim Lesen deutlich besser ab als die Buben, und die entsprechenden Punktedifferenzen sind teilweise dramatisch hoch (über 50 Punkte).
Die letzte Spalte der Tabelle gibt an, wie sich der Geschlechterunterschied im Lesen von 2012 auf 2015 verändert hat, und da stellen wir fest, dass er in *allen* Ländern kleiner geworden ist, in 13 der 26 Länder um 15 oder mehr Punkte.
In 15 der 26 Länder haben sich die Mädchen verschlechtert und die Buben verbessert.
In 3 Ländern (Slowenien, Spanien und Schweden) haben sich die Mädchen zwar im Lesen verbessert, die Buben deutlich stärker; da die Buben überall im Lesen schlechter als die Mädchen sind, hat sich daher in diesen Ländern die Geschlechterdifferenz verringert.
In 7 der 26 Länder (Belgien, Griechenland, Ungarn, Luxemburg, Niederlande, Polen und Slowakei) haben sich Buben und Mädchen verschlechtert, die Verschlechterung bei den Buben war aber kleiner als die bei den Mädchen, also hat auch in diesen Ländern die Geschlechterdifferenz abgenommen.
Man kann wohl nicht davon ausgehen, dass die Verringerung der Geschlechterdifferenz im Lesen darauf zurückzuführen ist, dass alle diese 26 Länder gleichzeitig bildungspolitische Maßnahmen zur Verringerung dieser Geschlechterdifferenz wirksam umsetzen konnten.
Eine deutlich plausiblere Erklärung erscheint da, dass sich die Umstellung von papierbasiertem auf computerbasiertes Testverfahren bei den Mädchen anders ausgewirkt hat als bei den Buben.
Wenn das der Fall ist, dann bedeutet das, dass man bei Vergleichen von früheren mit den aktuellen PISA-Ergebnissen mit höchster Vorsicht umgehen muss.
Wenn man ein Messverfahren ändert, dann kann man die gemessenen Werte nicht mehr ohne zusätzliche Analyse vergleichen.
Die folgenden Tabellen zeigen, dass die Änderung der Testabwicklung in Mathematik und den Naturwissenschaften nicht so über die Länder hinweg homogene Auswirkungen auf die Geschlechterdifferenzen hatte.