{"id":2019,"date":"2016-12-07T10:59:55","date_gmt":"2016-12-07T09:59:55","guid":{"rendered":"http:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/?p=2019"},"modified":"2016-12-07T10:59:55","modified_gmt":"2016-12-07T09:59:55","slug":"sind-wir-bei-pisa-wirklich-schlechter-geworden","status":"publish","type":"post","link":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/2016\/12\/07\/sind-wir-bei-pisa-wirklich-schlechter-geworden\/","title":{"rendered":"Sind wir bei PISA wirklich schlechter geworden?"},"content":{"rendered":"<p>Ich habe gestern einen ersten <a href=\"http:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/2016\/12\/06\/erste-anmerkungen-zu-den-pisa-2015-ergebnissen\/\">Kommentar zu den PISA-Ergebnissen f\u00fcr 2015<\/a> verfasst.<\/p>\n<p>Das am meisten berichtete Ergebnis war, dass wir uns im Vergleich zu 2012 in allen Gebieten verschlechtert haben.<\/p>\n<p>Nicht berichtet wurde in der Regel, dass es da gro\u00dfe geschlechterspezifische Unterschiede gibt.<\/p>\n<p>Die Ergebnisse der Buben beim Lesen sind sogar geringf\u00fcgig besser, die der M\u00e4dchen aber bedeutend schlechter.<br \/>\nIn Mathematik und ind den Naturwissenschaften wurden die Ergebnisse sowohl der Buben als auch der M\u00e4dchen schlechter,<br \/>\ndie Verschlechterung bei dem M\u00e4dchen war aber deutlich h\u00f6her als bei den Buben.<\/p>\n<p>Wenn man nach Erkl\u00e4rungen f\u00fcr diese Unterschiede sucht und die <a href=\"https:\/\/www.bifie.at\/system\/files\/buch\/pdf\/01_TB_Kapitel1_PISA15_final.pdf\">\u00f6sterreichische Dokumentation zu PISA 2015<\/a> liest, dann stellt man fest, dass es einen gro\u00dfen Unterschied zwischen PISA 2015 und den fr\u00fcheren PISA-Tets gibt: 2015 wurde (zumindest in allen OECD-Mitgliedsl\u00e4ndern, also auch in \u00d6sterreich) der Test an Computern durchgef\u00fchrt.<\/p>\n<p>Die OECD hat zwar in der Vorbereitungsphase f\u00fcr PISA 2015 (n\u00e4mlich 2014) einen Feldtest durchgef\u00fchrt, um zu untersuchen<br \/>\nob der Papier-und-Bleistift-Test und der Computertest vergleichbar sind; die OECD berichtet in ihrer  <a href=\"http:\/\/www.oecd-ilibrary.org\/education\/pisa-2015-ergebnisse-band-i_9789264267879-de\">internationalen Dokumentation<\/a> (im Anhang A5) \u00fcber diese Vergleiche. <\/p>\n<p>Es gibt allerdings ein Riesenproblem:<br \/>\n<em>\u00d6sterreich hat an dieser vorbereitenden Feldstudie nicht teilgenommen.<\/em><\/p>\n<p>Es gibt Hinweise darauf, dass in Deutschland der Computertest schwieriger war als der Papier-und-Bleistift-Test  (siehe Zitat weiter unten), vergleichbare Erkenntnisse f\u00fcr \u00d6sterreich gibt es aber einfach nicht.<\/p>\n<p>Wir haben also keinerlei halbwegs gesichertes Wissen dar\u00fcber, wie sich die Testumstellung auf die \u00f6sterreichischen Ergebnisse ausgewirkt hat.<\/p>\n<p>Denkbar sind zum Beispiel folgende Effekte:<\/p>\n<ul>\n<li>In L\u00e4ndern, in denen in den Schulen Computertests schon im Regelunterricht \u00fcblich sind, k\u00f6nnte sich die Umstellung weniger auf das Ergebnis auswirken als in L\u00e4ndern, wo Computertests im in vielen Schulen Regelunterricht kaum \u00fcblich sind (was ich f\u00fcr \u00d6sterreich annehme)<\/li>\n<li>Da sich Buben vielleicht au\u00dferhalb der Schule eher mit Computern besch\u00e4ftigen als M\u00e4dchen k\u00f6nnte das auch eine Erkl\u00e4rung f\u00fcr die im Vergleich zu fr\u00fcher stark ver\u00e4nderten Geschlechtsunterschiede sein.<\/li>\n<\/ul>\n<p>\u00d6sterreich hat am Feldtest 2014 nicht teilgenommen, weil es im Schulbereich in ganz anderem Kontext zu einem Problem mit Datensicherheit gekommen ist und die damalige Bildungsministerin, Frau Heinisch-Hosek, in einer (meiner Meinung nach \u00fcbertriebenen) Panikreaktion daraufhin alle Vorbereitungsarbeiten f\u00fcr PISA gestoppt hat. Ich habe damals mehrfach darauf hingewiesen, dass es sehr unangenehme Folgen haben kann, wenn wir an der Eichung des neuen Tests nicht teilnehmen. <\/p>\n<p>Genau solche Folgen, die die Aussagekraft der PISA-Ergebnisse drastisch reduzieren, sind jetzt eingetreten.<\/p>\n<p>Hier noch ein Zitat aus dem <a href=\"https:\/\/www.bifie.at\/system\/files\/buch\/pdf\/01_TB_Kapitel1_PISA15_final.pdf\">\u00f6sterreichischen PISA-Bericht des bifie<\/a> (Seite 1\/4), das sich mit dem Unterschied zwischen Papier-und-Bleistift-Tests und Computertests besch\u00e4ftigt.<\/p>\n<blockquote><p>\nDie sogenannten Trenditems (jene Aufgaben, die bereits in fr\u00fcheren Erhebungen eingesetzt wurden), die die Basis f\u00fcr die Messung von Leistungsver\u00e4nderungen \u00fcber die Zeit bilden, mussten f\u00fcr PISA 2015 von der Papierversion in eine Computerversion \u00fcbertragen werden. Dadurch kann sich allerdings die Schwierigkeit der Aufgabe f\u00fcr die Sch\u00fcler\/innen \u00e4ndern. Um sicherzugehen, dass ein Umstieg von einer papier- auf eine computerbasierte Testung keine Auswirkung auf die Vergleichbarkeit der Ergebnisse der aktuellen Erhebung mit den fr\u00fcheren Erhebungen hat, wurde von der OECD im Rahmen des Feldtests eine Mode-Effect-Studie durchgef\u00fchrt (vgl. Kapitel 3). Eine Zusammenfassung der Ergebnisse der Mode-Effect-Studie  findet sich in Anhang AT des internationalen Ergebnisberichts der OECD (2016a). Die OECD weist darin darauf hin, dass die Ergebnisse zwischen den beiden Erhebungsmodi auf internationaler Ebene (bei Betrachtung aller PISA-Teilnehmerl\u00e4nder) vergleichbar sind. Dies bedeutet, dass sich die durchschnittliche Leistung sowie der Anteil der Sch\u00fcler\/ innen auf den verschiedenen Leistungslevels nicht signifikant unterscheiden w\u00fcrden, wenn die Sch\u00fcler\/innen, die den Test am Computer bearbeitet haben, denselben Test auf Papier absolviert h\u00e4tten.<\/p>\n<p>Die von der OECD berichteten Ergebnisse der Mode-Effect-Studie sind allerdings mit der Einschr\u00e4nkung verbunden, dass durch das Design dieser Studie lediglich Aussagen \u00fcber die Sch\u00fcler\/innen aller Teilnehmerl\u00e4nder m\u00f6glich sind, aber keine aussagekr\u00e4ftigen R\u00fcckschl\u00fcsse f\u00fcr einzelne L\u00e4nder. Es kann also durchaus sein, dass in einzelnen L\u00e4ndern der Wechsel auf eine computerbasierte Erhebung teilweise die Ergebnisse beeinflusst. In \u00d6sterreich wurde aufgrund der Verschiebung der Projektphasen im Feldtest ausschlie\u00dflich computerbasiert getestet, sodass von \u00d6sterreich keine Daten zu Moduseffekten vorliegen und auch keine Daten in die internationale Mode-Effect-Studie eingehen konnten. F\u00fcr \u00d6sterreich gibt es also keine M\u00f6glichkeit, die Leistungen der Sch\u00fcler\/innen beim herk\u00f6mmlichen Papier-und-Bleistift-Test mit jenen im Computertest direkt zu vergleichen und damit auch keinen Anhaltspunkt daf\u00fcr, wie gro\u00df eine durch die Erhebungsmodalit\u00e4t bedingte Ver\u00e4nderung (Mode Effect) ausf\u00e4llt. F\u00fcr Deutschland liefert der Feldtest 2014 beispielsweise Hinweise darauf, dass die PISA-Aufgaben im Mittel am Computer schwieriger waren als auf Papier. Dabei scheinen die Mode Effects durch den Computer bei den Naturwissenschaftsitems am gr\u00f6\u00dften, bei den Lese- items am geringsten zu sein (S\u00e4lzer &#038; Reiss, 2016).<\/p><\/blockquote>\n<div class=\"tweet_button107\" style=\"float: right; margin-left: 10px;\"><a href=\"http:\/\/twitter.com\/share\" rel=\"nofollow\" class=\"twitter-share-button\" data-url=\"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/2016\/12\/07\/sind-wir-bei-pisa-wirklich-schlechter-geworden\/\" data-text=\"Sind wir bei PISA wirklich schlechter geworden? - Bildung und Statistik\" data-count=\"vertical\" data-lang=\"de\" data-via=\"neuwirthe\"  data-related=\"\"><\/a><\/div>","protected":false},"excerpt":{"rendered":"<p>Ich habe gestern einen ersten Kommentar zu den PISA-Ergebnissen f\u00fcr 2015 verfasst. Das am meisten berichtete Ergebnis war, dass wir uns im Vergleich zu 2012 in allen Gebieten verschlechtert haben. Nicht berichtet wurde in der Regel, dass es da gro\u00dfe geschlechterspezifische Unterschiede gibt. Die Ergebnisse der Buben beim Lesen sind sogar geringf\u00fcgig besser, die der [&hellip;]<\/p>\n<div class=\"tweet_button107\" style=\"float: right; margin-left: 10px;\"><a href=\"http:\/\/twitter.com\/share\" rel=\"nofollow\" class=\"twitter-share-button\" data-url=\"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/2016\/12\/07\/sind-wir-bei-pisa-wirklich-schlechter-geworden\/\" data-text=\"Sind wir bei PISA wirklich schlechter geworden? - Bildung und Statistik\" data-count=\"vertical\" data-lang=\"de\" data-via=\"neuwirthe\"  data-related=\"\"><\/a><\/div>","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[1],"tags":[],"_links":{"self":[{"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/posts\/2019"}],"collection":[{"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/comments?post=2019"}],"version-history":[{"count":13,"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/posts\/2019\/revisions"}],"predecessor-version":[{"id":2041,"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/posts\/2019\/revisions\/2041"}],"wp:attachment":[{"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/media?parent=2019"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/categories?post=2019"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogs.neuwirth.priv.at\/bildungundstatistik\/wp-json\/wp\/v2\/tags?post=2019"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}