BERLIN. Großangelegte Bildungsstudien haben einen wichtigen Einfluss auf bildungspolitische Entscheidungen. Seit der Veröffentlichung der Ergebnisse der ersten PISA-Studie im Dezember 2001 durch die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), in der Deutschland gegenüber anderen Ländern vergleichsweise schlecht abgeschnitten hatte, wurde beispielsweise in der öffentlichen Debatte zunächst Bildung in Schulen, später aber auch in vorschulischen Einrichtungen und die Ausbildung von Lehrkräften verstärkt in den Fokus genommen.
Der tief greifende Einfluss von PISA auf das Bildungssystem besteht dabei nahezu ungeachtet immer wieder aufkeimender Diskussionen um die Aussagekraft der Studie. Ein internationales Forschungsteam unter Beteiligung der Berliner Psychologin Steffi Pohl hat nun das Design des „Programmes for International Student Assessment“ unter die Lupe genommen.
Die Ergebnisse der PISA-Studien zur Erhebung von Schulleistungen beschreiben demnach nicht nur reine Fähigkeiten der Schülerinnen und Schüler. Die mit PISA ermittelten Ergebnisse umfassten vielmehr eine Mischung aus Fähigkeiten und Strategien zur Bearbeitung von Aufgaben, etwa die Zeiteinteilung und das Überspringen von Fragen. Den Wissenschaftlerinnen und Wissenschaftlern zufolge kann derzeit nicht immer klar bestimmt werden, welcher Aspekt in welchem Maß im PISA-Ergebnis berücksichtigt ist. Hinzu komme, dass die verschiedenen Aspekte nicht gleich für alle Schülerinnen und Schüler eingingen.
Die Autorinnen und Autoren der Studie schlagen vor, die verschiedenen Aspekte, die für eine Aufgabenbearbeitung wichtig sind, auseinanderzuhalten und getrennt zu erfassen, darunter die Korrektheit der Antwort, die Zeit, die für die Antwort gebraucht wurde, und wie viele Aufgaben von den Schülerinnen und Schülern überhaupt bearbeitet wurden.
Um Strategien zur Aufgabenbearbeitung zu messen, nutzten die Wissenschaftlerinnen und Wissenschaftler Log-Daten aus der computerisierten Testung, zum Beispiel die Zeiteinteilung pro Aufgabe, sowie statistische Modelle zur Beschreibung. Dies ermögliche einen tieferen Einblick in die Art, wie Aufgaben bearbeitet werden. Dies zeige sich etwa darin, dass verschiedene Länder unterschiedliche Stärken aufwiesen: In manchen Ländern arbeiteten Schülerinnen und Schüler sehr sorgfältig und beantworten Fragen in der Regel richtig. Sie nutzen dafür aber sehr viel Zeit und bearbeiten nicht alle Aufgaben des Tests. In anderen Ländern beantworteten die Schülerinnen und Schüler alle Aufgaben in einer kurzen Zeit, was aber zulasten der Genauigkeit der Antworten gegangen sei.
Das vorgeschlagene Vorgehen ermögliche es dem Forschungsteam zufolge, verschiedene Aspekte zu beleuchten, die für eine erfolgreiche Aufgabenbearbeitung relevant sind. Testverhalten sei kein Störfaktor, der die Messung verfälsche, so die Wissenschaftler, sondern ein Aspekt, der wichtige Informationen darüber liefere, wie die Prüflinge an die Aufgaben herangehen. Die Entflechtung und Erfassung der unterschiedlichen Faktoren ermögliche somit ein besseres Verständnis der Fähigkeiten der Schülerinnen und Schüler sowie zielgenauere Interventionen zu ermöglichen.
Ein nuancierterer Vergleich zwischen Ländern werde dann dadurch möglich, dass in der vorgeschlagenen Vorgehensweise für alle Schülerinnen und Schüler alle Aspekte in der gleichen Weise in der Auswertung berücksichtigt würden. Je nachdem, wie der Schwerpunkt bei der Berücksichtigung der unterschiedlichen Aspekte gelegt wird, könne sich die Reihenfolge der Länder in den Rankings ändern. (zab, pm)
Hintergrund: Wer die PISA-Studie entwickelt – und wie Lehrer den Test erleben