BERLIN. Großangelegte Bildungsstudien haben einen wichtigen Einfluss auf bildungspolitische Entscheidungen. Seit der Veröffentlichung der Ergebnisse der ersten PISA-Studie im Dezember 2001 durch die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), in der Deutschland gegenüber anderen Ländern vergleichsweise schlecht abgeschnitten hatte, wurde beispielsweise in der öffentlichen Debatte zunächst Bildung in Schulen, später aber auch in vorschulischen Einrichtungen und die Ausbildung von Lehrkräften verstärkt in den Fokus genommen.
Der tief greifende Einfluss von PISA auf das Bildungssystem besteht dabei nahezu ungeachtet immer wieder aufkeimender Diskussionen um die Aussagekraft der Studie. Ein internationales Forschungsteam unter Beteiligung der Berliner Psychologin Steffi Pohl hat nun das Design des „Programmes for International Student Assessment“ unter die Lupe genommen.
Die Ergebnisse der PISA-Studien zur Erhebung von Schulleistungen beschreiben demnach nicht nur reine Fähigkeiten der Schülerinnen und Schüler. Die mit PISA ermittelten Ergebnisse umfassten vielmehr eine Mischung aus Fähigkeiten und Strategien zur Bearbeitung von Aufgaben, etwa die Zeiteinteilung und das Überspringen von Fragen. Den Wissenschaftlerinnen und Wissenschaftlern zufolge kann derzeit nicht immer klar bestimmt werden, welcher Aspekt in welchem Maß im PISA-Ergebnis berücksichtigt ist. Hinzu komme, dass die verschiedenen Aspekte nicht gleich für alle Schülerinnen und Schüler eingingen.
Die Autorinnen und Autoren der Studie schlagen vor, die verschiedenen Aspekte, die für eine Aufgabenbearbeitung wichtig sind, auseinanderzuhalten und getrennt zu erfassen, darunter die Korrektheit der Antwort, die Zeit, die für die Antwort gebraucht wurde, und wie viele Aufgaben von den Schülerinnen und Schülern überhaupt bearbeitet wurden.
Um Strategien zur Aufgabenbearbeitung zu messen, nutzten die Wissenschaftlerinnen und Wissenschaftler Log-Daten aus der computerisierten Testung, zum Beispiel die Zeiteinteilung pro Aufgabe, sowie statistische Modelle zur Beschreibung. Dies ermögliche einen tieferen Einblick in die Art, wie Aufgaben bearbeitet werden. Dies zeige sich etwa darin, dass verschiedene Länder unterschiedliche Stärken aufwiesen: In manchen Ländern arbeiteten Schülerinnen und Schüler sehr sorgfältig und beantworten Fragen in der Regel richtig. Sie nutzen dafür aber sehr viel Zeit und bearbeiten nicht alle Aufgaben des Tests. In anderen Ländern beantworteten die Schülerinnen und Schüler alle Aufgaben in einer kurzen Zeit, was aber zulasten der Genauigkeit der Antworten gegangen sei.
Das vorgeschlagene Vorgehen ermögliche es dem Forschungsteam zufolge, verschiedene Aspekte zu beleuchten, die für eine erfolgreiche Aufgabenbearbeitung relevant sind. Testverhalten sei kein Störfaktor, der die Messung verfälsche, so die Wissenschaftler, sondern ein Aspekt, der wichtige Informationen darüber liefere, wie die Prüflinge an die Aufgaben herangehen. Die Entflechtung und Erfassung der unterschiedlichen Faktoren ermögliche somit ein besseres Verständnis der Fähigkeiten der Schülerinnen und Schüler sowie zielgenauere Interventionen zu ermöglichen.
Ein nuancierterer Vergleich zwischen Ländern werde dann dadurch möglich, dass in der vorgeschlagenen Vorgehensweise für alle Schülerinnen und Schüler alle Aspekte in der gleichen Weise in der Auswertung berücksichtigt würden. Je nachdem, wie der Schwerpunkt bei der Berücksichtigung der unterschiedlichen Aspekte gelegt wird, könne sich die Reihenfolge der Länder in den Rankings ändern. (zab, pm)
Hintergrund: Wer die PISA-Studie entwickelt – und wie Lehrer den Test erleben
„ Je nachdem, wie der Schwerpunkt bei der Berücksichtigung der unterschiedlichen Aspekte gelegt wird, könne sich die Reihenfolge der Länder in den Rankings ändern.“
Stimmt, die Testinhalte und Vorgehensweisen bestimmen immer das Ergebnis.
Was ist die Folgerung daraus?
Die ganze PISA-Hype war völlig daneben. Das Ranking ist dann uninteressant, wenn die Unterschiede nicht allzu groß sind. Und in manchen Ländern gehen von den 15-Jährigen nicht mehr alle überhaupt zur Schule, natürlich vorwiegend die aus „besseren Kreisen“. Solche Länder stehen dann bei den „sozialen Disparitäten“ besser da als Deutschland, einfach paradox. Auch die USA und Kolumbien stehen besser da, wenn es um die Abhängigkeit von der sozialen Herkunft geht. Ist das plausibel? Oder vielleicht ein „statistisches Artefakt“ ?
Aus Südkorea wird berichtet, dass am PISA-Testtag erstmal gemeinsam die Nationalhymne gesungen wird und dann alle im nationalen Interesse eifrig bei der Sache sind, aus Norwegen wird berichtet, dass die Kids nur gelangweilt das eine oder andere ankreuzen und sich überhaupt nicht anstrengen. In China wird von den Behörden vermutlich gemogelt (ausgewählte Eliteklassen werden in den Test geschickt)., was auch in anderen Diktaturen durchaus möglich ist. Auch in Deutschland gehen Gerüchte, dass schwachen Schülern geraten wird, am PISA-Testtag mal blau zu machen, man würde das tolerieren.
Schließlich und endlich wird bei diesen PISA-Aufgaben die „Lesekompetenz“ gleich dreimal getestet, nämlich in allen drei Disziplinen. Aber Mathematik wird sozusagen nur halb getestet, die andere Hälfte betrifft die Entschlüsselung der sprachlich nicht ganz einfachen Texte. Dass diese Texte gerade Migrantenkinder benachteiligen, wissen alle, aber dennoch jammert man, wenn die dann schwächer abschneiden. Dass die PISA-Sieger wenige (oder andere) Migranten haben als Deutschland, ist auch bekannt und wird auch ignoriert. In Südkorea kommen Flüchtlinge meist aus Nordkorea, in Deutschland aus Syrien oder Afghanistan. Kanada schließlich hat ein restriktives Einwanderungssystem und lässt nur einigermaßen gebildete Leute ins Land, die schon vorher die Landessprache sprechen.
Zu PISA steht in diesem Sinne auch was Interessantes bei der „Unstatistik des Monats“, im Archiv von 2019:
https://www.rwi-essen.de/unstatistik/
Aktuell findet sich dort auch einiges zum Corona-Virus.
Wissenschaftlerinnen und Wissenschaftler, Autorinnen und Autoren, Schülerinnen und Schüler, Leserinnen und Leser, Lehrkräfte und Lehrkräftinnen: Warum sollte ich seinen solchen Sprachschrott eigentlich noch lesen? Ich bin dann mal weg.