Schultyp und Geschlecht bei PISA-Stichproben

Als im Dezember 2004 die Ergebnisse von PISA 2003 für Österreich publiziert wurden war allgemein von einem Absturz die Rede. Die Ergebnisse von 2003 waren deutlich schlechter als die Ergebnisse von 2000.

Schon damals bestand der Verdacht, dass für PISA 2000 durch die Gewichtung der einzelnen Schultypen und der Burschen und der Mädchen innerhalb der Schultypen in der Stichprobe die Aufteilung der Schüler im gesamten Altersjahrgang nicht richtig wiedergegeben wurde. Insbesondere gab es Hinweise darauf, dass die Berufsschüler (das sind die Schüler mit den schlechtesten PISA-Leistungen) deutlich unterrepräsentiert waren und deshalb die österreichischen PISA-Werte 2000 besser waren als sie es bei korrekter Gewichtung der Schultypen gewesen wären.

Die Gewichte für die Schultypen und Geschlechter waren zwar zunächst in den öffentlich verfügbaren Daten für PISA 2000 enthalten, wurden aber vor der Publikation der Daten für PISA 2003  auf Veranlassung der österreichischen PISA-Verantwortlichen mit Berufung auf Datenschutz aus den Daten entfernt. Die entsprechenden Daten für PISA 2003 wurden jedoch (wenn auch in etwas anderer Darstellung) veröffentlicht. Für PISA 2003 war der Datenschutz anscheinend kein so großes Anliegen.

Als Konsequenz war es jedenfalls nicht möglich, die Zusammensetzung der PISA-Stichprobe für 2000 und für 2003 zu vergleichen.

In einem Interview für profil vom 4.12.2004 (siehe profil Website) äussert sich der österreichische PISA-Verantwortliche so:

Dass der Absturz im Vergleich zu PISA 2000 wie in der Vorwoche kolportiert vor allem auf eine damalige falsche Gewichtung der Berufsschüler zurückzuführen ist, trifft nicht zu. Österreichs Schüler sind in den vergangenen Jahren schlicht schlechter geworden. Haiders Resümee: „Die Analysen zeigen, dass hinter den Differenzen eindeutig feststellbare Leistungsverluste der Schüler/innen stehen.“

Das Problem, dass die Gewichtung die Ergebnisse von 2000 verfälscht haben könnte, wurde also in Abrede gestellt.

Die Diskussionen darüber, ob jetzt die PISA-Ergebnisse von 2003 wirklich um vieles schlechter als die Ergebnisse von 2000 waren, führten schlussendlich dazu, dass das Bildungsministerium eine Studie in Auftrag gab, die die Qualität der Stichproben näher untersuchen sollte.

Im Zuge dieser Untersuchung stellte sich heraus, dass die Gewichtung der Schultypen und Geschlechter in der PISA-Stichprobe tatsächlich ganz wesentlich von den entsprechenden Anteilen an der Schülerpopulation abwich. Eine Forschergruppe von Statistikern erarbeitete ein neues korrigiertes Gewichtungsschema, das die Anteile der Schülergruppen korrekt wiedergibt. Die folgende animierte Grafik ermöglicht einen Vergleich des ursprünglichen und des korrigierten Gewichtungsschemas.

Diese Grafik soll durch das „Springen“ der Balkenbreiten die sehr grossen Unterschiede zwischen den unkorrigierten und den korrigierten Gewichten darstellen. Sie können die Animation mit den Steuerungselementen darunter stoppen, und sie können mit den „Pfeilknöpfen“ zwischen den Bildern wechseln. Wenige Absätze weiter unten finden sie die Grafiken noch einmal ohne Animation. Dort kann man die Anteile der Schultypen und Geschlechter „in Ruhe“ vergleichen.

Die Grafik zeigt, dass zunächst Berufsschulen (BS) deutlich zu gering und Berufsbildende Höhere Schulen (BHS) deutlich zu hoch gewichtet wurden. Da BHS gute und BS schlechte PISA-Leistungen erbringen hatte das zur Folge, dass die PISA-Werte für 2000 nicht den tatsächlichen Verhältnissen entsprachen sondern ein zu schön gefärbtes Bild zeichneten. Am deutlichsten sind die Gewichtungsunterschiede übrigens bei BS (tg) zu sehen.

Für 2006 und 2009 sind die Daten über die Gewichtung der Schultypen und Geschlechter (so wie für 2000) wieder nicht verfügbar. Dem Autor dieses Blogs standen sie allerdings im Rahmen von vom Bildungsministerium in Auftrag gegebenen Untersuchungen zur Verfügung. Die folgende Grafik zeigt die Gewichtungsschemata daher für 2000 (unkorrigiert und korrigiert), 2003 und 2006. Die Daten für 2009 sind weder in den öffentlich verfügbaren Daten enthalten noch standen sie dem Autor dieses Blogs zur Verfügung. Daher kann man die Gewichte der Schultypen und Geschlechter für PISA 2009 nicht überprüfen und darstellen.

PISA-Stichproben 2000 bis 2006

Diese Grafik zeigt merkbare Schwankungen bei der Aufteilung der Schüler auf die verschiedenen Typen von BHS und BS. Auch der Mädchenanteil in den Gymnasien ist in den verschieden Jahren deutlich verschieden.

Die Auffälligkeiten bei der Gewichtung führten jedenfalls (wie schon gesagt) dazu, dass die vom Bildungsministerium beauftragte Gruppe unabhängiger Statistiker (A.Prof. Dr. Erich Neuwirth, Univ.Prof. Dr. Wilfried Grossmann, Univ.Doz. Dr. Ivo Ponocny) die Stichprobenproblematik näher untersuchte. Diese Gruppe hat das in den Grafiken als „PISA 2000 korr.“ ausgewiesene Gewichtungsschema erarbeitet. Diese Gewichtung wurde von der OECD offiziell als notwendige Korrektur anerkannt und alle neueren PISA-Publikationen verwenden die nach diesem korrigierten Schema berechneten Kennwerte für Österreich. Untersuchungen durch ein unabhängiges Wissenschafterteam können also bewirken, dass von den PISA-Verantwortlichen zunächst verbreitete Irrmeinungen über die Leistungsfähigkeit österreichischer Schüler korrigiert werden können und diese Korrekturen auch von den internationalen PISA-Verantwortlichen als notwendig und richtig anerkannt werden.

Einer der ersten Hinweise darauf, dass das ursprüngliche Gewichtungsschema für PISA 2000 fehlerhaft war, war übrigens, dass es laut Stichprobe mehr Schülerinnen als Schüler gegeben hätte. Es ist aber eine allgemeine bekannte demografische Tatsache, dass in jedem Geburtenjahrgang etwas mehr Buben als Mädchen geboren werden. Bei PISA 2003 und PISA 2006 stimmte das Geschlechterverhältnis in der Stichprobe mit dieser Tatsache überein. Bei PISA 2009 gäbe es laut Stichprobe (so wie 2000 vor der Korrektur) ebenfalls wieder mehr Mädchen als Burschen, die noch in schulischer Ausbildung stehen. Das ist ein deutlicher Hinweis darauf, dass man die Gewichtung der Stichprobe auch für 2009 einer Untersuchung durch unabhängige Experten unterziehen sollte.

Die Abkürzungen für die einzelnen Schultypen bedeuten übrigens folgendes:

HS = Hauptschule

Poly = Polytechnische Schule

Sonder = Sonderschule

Gym = Gymnasium

RG und WKRG = Realgymnasium und wirtschaftskundliches RG

ORG = Oberstufenrealgymnasium

Sonst. AHS = Sonstige Allgemeinbildende Schulen/mit Statut

BS = Berufsschule

BMS = Berufsbildende Mittlere Schule

BHS = Berufsbildende Höhere Schule

Päd = Anstalten der Lehrerbildung und Erzieherbildung

tg = technisch-gewerblich

kfm = kaufmännisch

tgkgw = technisch-gewerblich-kunstgewerblich

wiso = wirtschaftsberuflich-sozialberuflich

lf = land- und forstwirtschaftlich

Schlagwörter: PISA