Österreichs Gymnasiasten und Finnlands Gesamtschüler – erweitert

In dem schon vor einiger Zeit publizierten Blog-Eintrag „Österreichs Gymnasiasten und Finnlands Gesamtschüler“ sind einige Grafiken dazugekommen. Die machen einige Sachverhalte noch deutlicher sichtbar als die Tabellen, die schon vorher dort zu lesen waren.

Es lohnt sich also, den Artikel noch einmal zu lesen.

PISA-Scores einzelner Schultypen

Anmerkung: Bitte lesen sie diesen Artikel bis zum Ende. Dort wird auch die Frage eingegangen, wie weit die PISA-Werte für Österreich für 2009 mit den früheren Werten überhaupt vergleichbar sind.

Laut der Berichterstattung über PISA hat sich Österreich von 2006 auf 2009 recht deutlich verschlechtert, beim Lesen z.B. von 490.2 auf 470.3 Punkte.

Wir wissen, dass die Leistungsunterschiede zwischen Geschlechtern und verschiedenen Schultypen teilweise recht gross sind. Deshalb ist es interessant, sich die Veränderungen der PISA-Scores für verschiedene Schultypen genauer anzusehen. Wir untersuchen dazu 4 Schultypengruppen: AHS, BHS, BMS und Berufsschulen und Polytechnische Schulen als eine Gruppe. Die übrigen Schultypen werden in der Kategorie Sonstige zusammengefasst.

Die folgende Tabelle zeigt die nach der PISA-Schätzmethodik berechneten PISA-Scores für die einzelne Schultypen.

In dieser Tabelle sieht man, das die Verschlechterung zwischen 2006 und 2009 in den einzelnen Schultypen deutlich verschieden war. Für AHS wurde der Lese-Wert um etwa 14 Punkte schlechter, für die BHS dagegen um etwa 25 Punkte.

Einen viel detaillierteren Eindruck erhält man, wenn man die Dichteschaubilder der Verteilungen der PISA-Werte analysiert. Dichteschaubilder sind im Grunde genommen eine Verfeinerung von Histogrammen. Die Höhe der Kurven geben die Häufigkeiten der Testwerte in verschiedenen Bereichen an.

Die folgende Grafik zeigt Dichtefunktionen für jeden Schultyp insgesamt und auch getrennt nach Geschlechtern so, dass man die Verschiebungen der Verteilungen über die 4 PISA-Testzeitpunkte hinweg deutlich sehen kann.

Wie hat man diese Grafiken zu interpretieren? In der ersten Grafik links oben sieht man, dass die PISA-Werte für die AHS um den Wert von 550 bis 570 am häufigsten sind. Im Bereich um 470 liegen dann nur etwa halb so viele Werte wie im Bereich 550-750.

Die Mittelwerte aus der ersten Tabelle sind in den Grafiken als farbcodierte senkrechte Linien markiert. Sie liegen im Regelfall jeweils in der Mitte der entsprechenden Dichtekurven, leichte Abweichungen sind aber möglich. Der Mittelwerte einer Verteilung muss nicht mit dem Zentrum der Dichtefunktion zusammenfallen.

Diese Grafiken zeigen, dass die Verteilung der Werte für die AHS sich zwischen den 4 Messungen deutlich weniger unterscheiden als bei den anderen Schultypen. Besonders grosse Unterschiede gibt es bei den männlichen Schülern der BMS. Schon in unserer ersten Tabelle kann man feststellen, dass der Unterschied der Lesewerte dieser Schülergruppe zwischen 2000 und 2009 mehr als 70 Punkte beträgt. Auch in den Dichtekurven für die BHS sind deutlichere Verschiebungen als für die AHS zu erkennen. Verschlechtert haben sich die Schüler in allen Gruppen, aber in den AHS ist die Verschlechterung noch am geringsten.

Die Grafiken zeigen, dass der sichtbarste Problembereich bei der PISA-Messung die BMS sind, und da ist die Verschlechterung bei den Buben noch ausgeprägter als bei den Mädchen.

Es wäre ein grosses Missverständnis, das aufgezeigte Problem als prinzipielles Argument gegen die Gesamtschule zu verstehen. Genau so falsch wäre es aber, auf dieses Problem gar nicht einzugehen und von der Gesamtschule die Lösung aller Probleme (und damit auch dieses Problems) des österreichischen Schulsystems zu erwarten.

Verantwortungsvolle und faktenorientierte Bildungspolitik sollte auf dieses spezielle Problem mit massgeschneiderten Massnahmen für die vor allem betroffene Gruppe reagieren. Dieses schultypspezifische Problem einfach auszublenden und nur über die Einführung der Gesamtschule zu diskutieren kann gefährlich sein.

---

Methodische Anmerkungen

Wenn man ein Problem in einem bestimmten Schultyp erkennt, dann sollte man natürlich auch wissen, wieviele Schüler diesen Schultyp besuchen. Daher zeigt die folgende Tabelle die Anteile der Schüler in den einzelnen Schultypen.

Aus der Tabelle lässt sich entnehmen, dass der Anteil der BMS-Schüler etwa 15% beträgt, also ein durchaus erheblicher Teil der Schüler den Schultyp mit der deutlichsten Verschlechterung besucht.

Zu einer sauberen statistisch-methodischen Darstellung gehört auch das Ausweisen von Unsicherheitsbereichen der geschätzten Werte. Die folgende Tabelle zeigt daher die 95%-Konfidenzintervalle für alle schultyp- und geschlechtsspezifischen PISA-Lesescores.

---

Besonderheit bei PISA 2009 in Österreich

Die OECD selbst weist darauf hin, dass die Vergleichbarkeit der PISA-Ergebnisse für Österreich 2009 nicht direkt mit früheren Ergebnissen vergleichbar sind und begründet das so:

Die Tests für PISA 2009 wurden in Österreich in einer Zeit durchgeführt, die durch eine Auseinandersetzung zwischen der Lehrergewerkschaft und dem Unterrichtsministerium geprägt war. Im Zuge dieser Auseinandersetzung wurde auch zu einem Boykott der PISA-Tests aufgerufen, dieser Aufruf allerdings wenig später widerrufen. Dennoch haben einzelne Testteilnehmer an PISA 2009 diesen Boykott umgesetzt. Es mussten deshalb Testbögen, die erkennbar von diesem Boykott betroffen waren, aus dem Datensatz für Österreich entfernt werden.
Auch wenn der Datensatz für Österreich nach dieser Bereinigung den technischen Standards für PISA 2009 entspricht, kann die negative Atmosphäre während der Testphase die Motivation und Leistungen der Testteilnehmerinnen und –teilnehmer beeinflusst haben. Es muss daher davon ausgegangen werden, dass die Testbedingungen unter denen die Daten 2009 erhoben wurden nicht uneingeschränkt mit den Testbedingungen früherer PISA Studien vergleichbar sind. Aus diesem Grund berichtet die OECD Ergebnisse für Österreich nur mit Vorbehalt und sieht von Vergleichen mit den Ergebnissen früherer PISA-Untersuchungen für Österreich ab.

Das bedeutet, dass es statistisch gesehen nicht ausreichend sicher ist, dass der Wert für Lesen von etwa 470 für 2009 mit den Werten bei den Tests früher (etwa 490) numerisch verglichen werden kann. Die etwas unsichere Datenlage lässt aber ziemlich sicher schon den Schluss zu, dass die Veränderungen in den einzelnen Schultypen sehr verschieden waren. Insbesondere ist bei den Buben in der BMS ein durchgängiger drastischer Trend der Verschlechterung auch von von 2000 bis 2006 feststellbar.

Österreichs Gymnasiasten und Finnlands Gesamtschüler

Eines der gelegentlich verwendeten Argumente in der Diskussion „Gesamtschule ja oder nein“ lautet ungefähr so:

Um die Rolle des Gymnasiums (beziehungsweise der AHS) in unserem Bildungssystem richtig einzuschätzen sollte man wissen, dass die Ergebnisse, die unsere AHS-Schüler bei PISA erreichen, schlechter sind als die aller finnischen Schüler zusammengenommen.

Wenn dieses Argument richtig wäre, dann wäre es zumindest ein starkes Argument gegen die Beibehaltung der AHS in der gegenwärtigen Gestalt. Daher wollen wir uns die Daten genauer ansehen.

Die folgende Tabelle zeigt die PISA Ergebnisse in den 3 Gebieten Lesen, Mathematik und Naturwissenschaften für alle vier bisherigen PISA-Testserien (2000, 2003, 2006, 2009). Ausgewiesen werden die Durschnittsscores für alle finnischen Schüler, für die österreichischen AHS-Schüler, für die österreichischen BHS-Schüler und für alle österreichischen Schüler.

Die österreichischen AHS-Schüler hatten also bei allen bisherigen PISA-Tests in allen 3 getesteten Bereichen immer deutlich bessere Durchschnittswerte als die finnischen Schüler, der Abstand betrug nie weniger als 14 Punkte.

Die Werte für PISA 2000 in Österreich in dieser Tabelle unterscheiden sich von den in den offiziellen internationalen und österreichischen PISA-Publikationen für 2000 und 2003 ausgewiesenen Werten. Eine Arbeitsgruppe aus österreichischen Statistikern hat 2005 methodische Probleme bei PISA 2000 bereinigt und die OECD verwendet seit 2006 die nach den dabei entwickelten Verfahren korrigierten Werte als offizielles österreichisches Ergebnis für das Jahr 2000.

Die AHS ist aber nicht die einzige Schulform in Österreich, die mit der Hochschulreife abschließt, das tut auch die BHS. Deswegen sind in den Tabellen dieses Postings immer auch die Ergebnisse der BHS ausgewiesen. Die bewegen sich etwa im Bereich der finnischen Ergebnisse. Bei PISA 2009 sind sie schlechter, aber diese Werte wurden während eines bildungspolitisch negativ aufgeladenen Zeitraums erhoben und sind deswegen nur bedingt aussagekräftig.

In den bildungspolitischen Diskussionen taucht noch ein weiteres Argument, warum das österreichische Gymnasiums die gestellten Anforderungen nicht erfüllt, auf.

PISA definiert „top performers“, also Schüler, die Spitzenleistungen erbringen. Ein Vorwurf an das Gymnasium lautet, dass es dort weniger Spitzenschüler gibt als in Finnland.

Wir analysieren daher die Tabelle mit den Anteilen der Spitzenschüler in den 3 Testbereichen und dazu noch den Anteilen aller Schüler, die in allen 3 Bereichen beziehungsweise in mindestens einem der drei Bereiche Spitzenleistungen erbringen.

Warum gibt es in dieser Tabelle leere Zellen?
Bei PISA 2000 stehen die Werte für Mathematik und Naturwissenschaften nicht für alle Schüler zur Verfügung, daher ist eine gemeinsame Auswertung der Scores wie ab PISA 2003 nicht möglich.

Auch in dieser Tabelle sind alle Anteile der Spitzenschüler bei den österreichischen AHS-Schülern niemals geringer als der entsprechenden Anteil an allen finnischen Schülern.

Berücksichtigt man die Tatsache, dass die Schüler in österreichischen AHS nach den Leistungen in der Volksschule selektiert werden, dann darf man natürlich fragen, ob man insbesondere beim Anteil der Spitzenschüler in der österreichischen AHS deutlich bessere Werte erzielen sollte als die finnische Gesamtschule.

Das gelegentlich vorgebrachte Argument, dass die österreichische AHS trotz Selektion nicht einmal die Leistungen der finnischen Gesamtschule ohne Selektion erbringt, ist also mit den PISA-Daten nicht zu untermauern. Sowohl bei der Durchschnittsleistung als auch beim Anteil der Spitzenschüler schneidet die österreichische AHS besser ab als die finnische Schule.

Eine so grosse Menge von Daten wie die Scores alle PISA-getesteten Schüler stellen Statistiker auch grafisch dar, und zwar mit Dichtefunktionen. Die folgende Grafik zeigt
die Verteilung des Scores für alle finnischen Schüler und für die österreichischen AHS-Schüler.

Die Farbe der Kurven gibt den Testzeitpunkt an. Die Höhe der Kurve gibt an, ob sich im die Testwerte der Schüler in entsprechenden Bereich häufig oder selten waren. Man kann also ablesen, dass im Bereich um den Score 600 in Mathematik bei allen PISA-Tests etwa 30-50% mehr österreichische AHS-Schüler als finnische Schüler zu finden sind. Die senkrechten Striche geben die Mittelwerte aller Scores, also die von der OECD als PISA-Score der Länder publizierten Werte an. Diese Werte findet man auch in der weiter oben stehenden Tabelle. Die Mittelwerte für die österreichischen
AHS-Schüler liegen in den meisten Fällen deutlich rechts von den entsprechenden Werten der finnischen Schüler, die Durchschnittsleistung der AHS-Schüler ist also in der Regel deutlich besser als die der finnischen Schüler. Zum Vergleich die Grafik, die alle österreichischen Schüler allen finnischen Schülern gegenüberstellt.

Die österreichischen Kurven liegen deutlich links von den entsprechenden finnischen Kurven, die österreichischen Gesamtergebnisse sind also deutlich schlechter. Das gilt auch für die senkrechten Linien, also die Länderscores. Aber das wissen wir ja schon lange.

---

Methodische Anmerkungen

Bei statistischen Auswertungen wie PISA gehört zur statistisch sauberen Durchführung auch, dass man zu jedem geschätzten Wert einen Schwankungsbereich angibt. Üblich ist das 95%-Konfidenzintervall. Daher sehen sie hier noch einmal die Tabelle der PISA-Scores ergänzt mit den Schwankungsbereichen.

Hier die Tabelle der Spitzenschüleranteile, ebenfalls mit den Schwankungsbereichen.

Warum enthält diese Tabelle leere Zellen?
Die PISA-Methodik wird ständig weiter entwickelt. Bei PISA 2000 wurden nicht für alle Schüler Mathematik- und Naturwissenschaftsscores errechnet. Deshalb sind die Schätzungen der Anteile von Schülern mit Spitzenleistungen in mehreren Gebieten mit der selben methodischen Zuverlässigkeit wie bei den späteren PISA-Tests nicht möglich.

Bildungsstandards und PISA-Aufgaben

Neuer Eintrag zu Bildungsstandards und PISA-Aufgaben