PISA-Scores einzelner Schultypen

Anmerkung: Bitte lesen sie diesen Artikel bis zum Ende. Dort wird auch die Frage eingegangen, wie weit die PISA-Werte für Österreich für 2009 mit den früheren Werten überhaupt vergleichbar sind.

Laut der Berichterstattung über PISA hat sich Österreich von 2006 auf 2009 recht deutlich verschlechtert, beim Lesen z.B. von 490.2 auf 470.3 Punkte.

Wir wissen, dass die Leistungsunterschiede zwischen Geschlechtern und verschiedenen Schultypen teilweise recht gross sind. Deshalb ist es interessant, sich die Veränderungen der PISA-Scores für verschiedene Schultypen genauer anzusehen. Wir untersuchen dazu 4 Schultypengruppen: AHS, BHS, BMS und Berufsschulen und Polytechnische Schulen als eine Gruppe. Die übrigen Schultypen werden in der Kategorie Sonstige zusammengefasst.

Die folgende Tabelle zeigt die nach der PISA-Schätzmethodik berechneten PISA-Scores für die einzelne Schultypen.

In dieser Tabelle sieht man, das die Verschlechterung zwischen 2006 und 2009 in den einzelnen Schultypen deutlich verschieden war. Für AHS wurde der Lese-Wert um etwa 14 Punkte schlechter, für die BHS dagegen um etwa 25 Punkte.

Einen viel detaillierteren Eindruck erhält man, wenn man die Dichteschaubilder der Verteilungen der PISA-Werte analysiert. Dichteschaubilder sind im Grunde genommen eine Verfeinerung von Histogrammen. Die Höhe der Kurven geben die Häufigkeiten der Testwerte in verschiedenen Bereichen an.

Die folgende Grafik zeigt Dichtefunktionen für jeden Schultyp insgesamt und auch getrennt nach Geschlechtern so, dass man die Verschiebungen der Verteilungen über die 4 PISA-Testzeitpunkte hinweg deutlich sehen kann.

Wie hat man diese Grafiken zu interpretieren? In der ersten Grafik links oben sieht man, dass die PISA-Werte für die AHS um den Wert von 550 bis 570 am häufigsten sind. Im Bereich um 470 liegen dann nur etwa halb so viele Werte wie im Bereich 550-750.

Die Mittelwerte aus der ersten Tabelle sind in den Grafiken als farbcodierte senkrechte Linien markiert. Sie liegen im Regelfall jeweils in der Mitte der entsprechenden Dichtekurven, leichte Abweichungen sind aber möglich. Der Mittelwerte einer Verteilung muss nicht mit dem Zentrum der Dichtefunktion zusammenfallen.

Diese Grafiken zeigen, dass die Verteilung der Werte für die AHS sich zwischen den 4 Messungen deutlich weniger unterscheiden als bei den anderen Schultypen. Besonders grosse Unterschiede gibt es bei den männlichen Schülern der BMS. Schon in unserer ersten Tabelle kann man feststellen, dass der Unterschied der Lesewerte dieser Schülergruppe zwischen 2000 und 2009 mehr als 70 Punkte beträgt. Auch in den Dichtekurven für die BHS sind deutlichere Verschiebungen als für die AHS zu erkennen. Verschlechtert haben sich die Schüler in allen Gruppen, aber in den AHS ist die Verschlechterung noch am geringsten.

Die Grafiken zeigen, dass der sichtbarste Problembereich bei der PISA-Messung die BMS sind, und da ist die Verschlechterung bei den Buben noch ausgeprägter als bei den Mädchen.

Es wäre ein grosses Missverständnis, das aufgezeigte Problem als prinzipielles Argument gegen die Gesamtschule zu verstehen. Genau so falsch wäre es aber, auf dieses Problem gar nicht einzugehen und von der Gesamtschule die Lösung aller Probleme (und damit auch dieses Problems) des österreichischen Schulsystems zu erwarten.

Verantwortungsvolle und faktenorientierte Bildungspolitik sollte auf dieses spezielle Problem mit massgeschneiderten Massnahmen für die vor allem betroffene Gruppe reagieren. Dieses schultypspezifische Problem einfach auszublenden und nur über die Einführung der Gesamtschule zu diskutieren kann gefährlich sein.

---

Methodische Anmerkungen

Wenn man ein Problem in einem bestimmten Schultyp erkennt, dann sollte man natürlich auch wissen, wieviele Schüler diesen Schultyp besuchen. Daher zeigt die folgende Tabelle die Anteile der Schüler in den einzelnen Schultypen.

Aus der Tabelle lässt sich entnehmen, dass der Anteil der BMS-Schüler etwa 15% beträgt, also ein durchaus erheblicher Teil der Schüler den Schultyp mit der deutlichsten Verschlechterung besucht.

Zu einer sauberen statistisch-methodischen Darstellung gehört auch das Ausweisen von Unsicherheitsbereichen der geschätzten Werte. Die folgende Tabelle zeigt daher die 95%-Konfidenzintervalle für alle schultyp- und geschlechtsspezifischen PISA-Lesescores.

---

Besonderheit bei PISA 2009 in Österreich

Die OECD selbst weist darauf hin, dass die Vergleichbarkeit der PISA-Ergebnisse für Österreich 2009 nicht direkt mit früheren Ergebnissen vergleichbar sind und begründet das so:

Die Tests für PISA 2009 wurden in Österreich in einer Zeit durchgeführt, die durch eine Auseinandersetzung zwischen der Lehrergewerkschaft und dem Unterrichtsministerium geprägt war. Im Zuge dieser Auseinandersetzung wurde auch zu einem Boykott der PISA-Tests aufgerufen, dieser Aufruf allerdings wenig später widerrufen. Dennoch haben einzelne Testteilnehmer an PISA 2009 diesen Boykott umgesetzt. Es mussten deshalb Testbögen, die erkennbar von diesem Boykott betroffen waren, aus dem Datensatz für Österreich entfernt werden.
Auch wenn der Datensatz für Österreich nach dieser Bereinigung den technischen Standards für PISA 2009 entspricht, kann die negative Atmosphäre während der Testphase die Motivation und Leistungen der Testteilnehmerinnen und –teilnehmer beeinflusst haben. Es muss daher davon ausgegangen werden, dass die Testbedingungen unter denen die Daten 2009 erhoben wurden nicht uneingeschränkt mit den Testbedingungen früherer PISA Studien vergleichbar sind. Aus diesem Grund berichtet die OECD Ergebnisse für Österreich nur mit Vorbehalt und sieht von Vergleichen mit den Ergebnissen früherer PISA-Untersuchungen für Österreich ab.

Das bedeutet, dass es statistisch gesehen nicht ausreichend sicher ist, dass der Wert für Lesen von etwa 470 für 2009 mit den Werten bei den Tests früher (etwa 490) numerisch verglichen werden kann. Die etwas unsichere Datenlage lässt aber ziemlich sicher schon den Schluss zu, dass die Veränderungen in den einzelnen Schultypen sehr verschieden waren. Insbesondere ist bei den Buben in der BMS ein durchgängiger drastischer Trend der Verschlechterung auch von von 2000 bis 2006 feststellbar.