Bildungsstandards und PISA-Aufgaben

Vorbemerkung: das angeführte Beispiel ist mittlerweile nicht mehr auf den Seiten des bifie zu finden. Allerdings wurde niemand davon informiert, dass dieses Beispiel zurückgezogen wurde. Wenn jemand (Lehrer, Schulbuchautor) das Beispiel einmal heruntergeladen hat und es weiterhin in gutem Glauben als Vorlage verwendet, dann gab es nie offizielle Informationen dazu, dass dieses Beispiel als Vorlage nicht geeignet ist.

---

Auf den Webseiten des bifie findet man eine
Sammlung von Aufgaben für Bildungsstandards Mathematik am Ende der 8 Schulstufe

Darin findet man (auf Seite 113) folgende Aufgabe:

Zur den Lösungen wird folgendes angemerkt:

Richtige Lösung:
Weil der Unterschied zwischen 515 und 506 Punkten relativ gering ist, sodass kaum von einem „Absturz“ oder einem „PISAster“ gesprochen werden kann. Oder: Weil die Stäbe nicht bei 0 sondern erst bei 500 beginnen und daher die Punktezahlen nicht im richtigen (Größen-)Verhältnis zueinander darstellen.

Hinweise zur Lösung:
Als richtig zu bewertende Antworten verweisen darauf, dass die im Stabdiagramm gezeichneten Stäbe nicht die tatsächlichen Größenverhältnisse darstellen, da die Stäbe nicht in voller Länge gezeichnet wurden (nicht bei 0 sondern erst bei 500 beginnen); der tatsächliche Größenunterschied der Stäbe ist eher gering.
Ebenfalls richtig zu bewerten wären Antworten, die auf den geringen relativen Größenunterschied der gezeichneten Werte (9 Punkte von mehr als 500, weniger als 2%) verweisen.

Diese Antwort zeigt, dass die Verfasser der Aufgabe wesentliche Prinzipien der Statistik nicht berücksichtigen.
Die falsche Begründung der Lösung geht nämlich davon aus, dass ein PISA-Score von 0 sozusagen das absolute Nichtwissen repräsentiert. Die Begründung der Antwort sagt: „Weil der Unterschied zwischen 515 und 506 Punkten relativ gering ist“ und meint damit, dass der Unterschied im Vergleich zum absoluten Wert von ca. 510 klein ist. Anders gesagt nimmt man an, dass es sinnvoll ist zu sagen, dass der PISA-Score sich nur um knapp 2% verringert hat und dass diese Größe von 2% inhaltliche Bedeutung hat.

Diese Aussage ist aber etwa gleich sinnlos wie die Aussage, dass ein Temperaturunterschied von +10º Celsius auf 0º Celsius keine besondere Bedeutung hat, weil es sich in Kelvin-Graden ausgedrückt nur um einen Unterschied von etwa 3,5% handelt.

Die Statistik spricht von Skalenniveaus. Es gibt Verhältnisskalen, z.B. Gewicht oder auch Geld. Das sind Skalen, wo ein in Prozenten ausgedrückter Unterschied sinnvoll ist. Man kann eben sinnvollerweise sagen, dass man um 15% schwerer ist als jemand anderer. Es ist aber sinnlos, zu sagen, dass es heute doppelt so warm ist wie gestern, wenn es heute 10ºC hat und gestern 5ºC gemessen wurden. Sinnvoll ist allerdings ein Vergleich, der sagt, dass der Temperaturunterschied von 0ºC auf 8ºC 4x so groß ist wie der Temperaturunterschied von 8ºC auf 10ºC. Solche Skalen, bei denen man die Differenzen zwischen Messwerten der Größe nach vergleichen kann, ein prozentueller Vergleich der Messwerte selber aber sachlich sinnlos ist, heissen Differenzskalen oder Intervallskalen.

Das zitierte Beispiel behandelt die PISA-Skala wie eine Verhältnisskala, dabei ist die PISA-Skala aber eine Intervallskala. Die PISA-Werte sind so normiert, dass der durchschnittliche Wert aller OECD-Länder bei PISA 2000 für alle Gebiete 500 Punkte betrug und die Standardabweichung über alle Länder gemittelt 100 Punkte betrug. Jede Skala, die nach einer derartigen Vorschrift normiert wird, ist praktisch automatisch eine Intervallskala.

Dass das bifie, also die für PISA in Österreich verantwortliche Institution, eine Aufgabe zu Bildungsstandards herausgibt, die von einem ganz grundsätzlichen Missverständnis über die Natur der PISA-Skala zeugt, zeigt, dass es mit der Qualitätssicherung in diesem Hause massive Probleme gibt. Nur zur Klarstellung: So ein Fehler ist keine vernachlässigbare Kleinigkeit. Über die Bedeutung von Skalenniveaus  lernt man in der ersten oder zweiten Stunde jeder einigermaßen ernstzunehmenden Einführungslehrveranstaltung in Statistik.

Ein weiteres ganz interessantes Detail an diesem Beispiel ist die Tatsache, dass das Beispiel mit den Werten von PISA 2000 argumentiert, die im Nachhinein korrigiert wurden. Das Beispiel wurde 2007 herausgegeben, da waren die Korrekturen längst bekannt. Man kann natürlich der Meinung sein, dass diese Tatsache für das Beispiel an sich nicht besonders wichtig ist. Dann sollte man aber doch zumindest im Beispiel darauf hinweisen, dass es sich um Zahlen handelt, die im Nachhinein korrigiert wurden. Dass das bifie in einem von ihm herausgegebenen Beispiel mit den falschen Zahlen operiert, für die es selbst verantwortlich war, ohne auf spätere Korrekturen hinzuweisen, mutet doch etwas seltsam an.

Jene Institution, die für die Qualitätssicherung im österreichischen Schulwesen zuständig ist, publiziert also ein Musterbeispiel für Schüler und Lehrer, das mehrere schwere sachliche und konzeptuelle Fehler auf einmal begeht.

Vielleicht sollte das bifie zunächst für Qualitätssicherung im eigenen Hause sorgen, bevor es die Qualität anderer Bildungseinrichtungen überprüft!