Interpretiert Schleicher zu viel in die PISA-Daten hinein? Wissenschaftler üben Kritik am Ranking

14

BERLIN. Misst PISA, was es messen soll? Lässt sich aus dem „Programme for International Student Assessment“, das die OECD alle drei Jahre herausgibt, tatsächlich ein stichhaltiges Ranking der Bildungssysteme unterschiedlicher Staaten ableiten – oder sind es nicht doch vor allem Kultur- und Mentalitätsunterschiede, die die Testergebnisse erklären (die aber bei der Interpretation der PISA-Ergebnisse dann tatsächlich kaum eine Rolle spielen)?

Eine aktuelle Studie der US-amerikanischen Bildungsforscher Judith D. Singer von der Harvard University und Henry I. Braun vom Boston College legt nahe, dass die Realität komplexer ist, als sie internationale Schulvergleiche wie PISA darstellen. Auch aus Deutschland kommt Kritik aus profunder Quelle: Der Bildungswissenschaftler Prof. Eckhard Klieme, Leiter des deutschen Teils der PISA-Studie 2009, meint, die OECD interpretiere zu viel in die PISA-Dateien hinein – aus politischen Gründen.

Die Studie zeigt laut PISA-Chef Andreas Schleicher, dass die Teamfähigkeit dort besser sei, wo Unterricht mehr Raum für Interaktion biete. Foto: re:publica / flickr (CC BY-SA 2.0)
Steht in der Kritik: OECD-Direktor und PISA-Chef Andreas Schleicher. Foto: re:publica / flickr (CC BY-SA 2.0)

Schon seit der vorletzten PISA-Studie konnte man glauben, Südostasien habe in Sachen Bildung den Stein der Weisen gefunden – Shanghai, Singapur, Hong Kong, Taiwan, Südkorea, Macau und Japan stehen seitdem auf Spitzenplätzen der Tabelle, und das trotz zum Teil schlechterer Bedingungen für den Unterricht als in Deutschland (wie größeren Klassen).

Zugegeben: Dass das asiatische Modell stark auf Drill und Dauerpauken setzt und deshalb, wenn überhaupt, nur sehr begrenzt auf Deutschland übertragbar ist, wurde sofort gemutmaßt. Ein Fortbildungstourismus von Bildungsfachleuten nach Asien (wie seinerzeit zu den früheren PISA-Spitzenreitern Finnland und Kanada) blieb jedenfalls aus. Und trotzdem gelangten Elemente asiatischer Pädagogik nach Europa. So habe Großbritannien eine in Shanghai und Hong Kong übliche Mathematik-Methode namens „Mastery“ flächendeckend an Grundschulen eingeführt, berichten Singer und Braun, wie der „Tagesspiegel“ berichtet.

Dabei könnte der Erfolg insbesondere der chinesischen Stadtstaaten auf der falschen Grundgesamtheit beruhen, der der Stichprobe der zu testenden Schüler zugrunde lag:  Ein Viertel der Schülerschaft wurde gar nicht erfasst, wie später herauskam – die Ergebnisse sind weitgehend wertlos.

Auch für andere unterentwickelte OECD-Länder ist PISA-Studie offenbar nicht repräsentativ, stellen die Wissenschaftler fest. Denn zum Beispiel in Mexiko oder der Türkei geht fast die Hälfte der 15-Jährigen, die bei PISA ja getestet werden, gar nicht mehr zur Schule. Diese bildungsfernen Jugendlichen können also ins OECD-Ranking, für das Jugendliche in Schulen getestet werden, gar nicht einfließen.

Anzeige

Relevanter für das Abschneiden deutscher Schulen bei PISA und Co. mit Blick auf das obere Tabellendrittel ist jedoch ein anderer Aspekt: Die  Testergebnisse würden massiv von Faktoren beeinflusst, die außerhalb der Schule liegen, heißt es. So beruhe der Bildungserfolg asiatischer Schüler nicht selten auf einem gigantischen Nachhilfesystem, das  insbesondere bei der Vorbereitung auf Prüfungen zum Einsatz komme. Im Tigerstaat Korea zum Beispiel lässt sich ein großer Anteil der Bildungsausgaben am Bruttoinlandsprodukt solchen privaten Investitionen zuordnen. Auch die Kultur spielt offenbar eine Rolle: So würden asiatische Schüler darauf gedrillt, sich bei Tests anzustrengen (während deutsche Schüler womöglich ohne die Aussicht auf gute Noten nicht besonders motiviert an die Tests herangehen?).

Mögliches Fazit: Viele PISA-Erfolge der Schüler sind gar kein Effekt des staatlichen Bildungssystems. Entsprechend gering erscheint der Erkenntniswert. Die Vergleichsstudien erlauben jedenfalls nicht die Schlüsse, die die OECD daraus zieht – meint Eckhard Klieme in der „Zeit“.

So lasse sich aus PISA kein konkreter Maßnahmenkatalog dafür ableiten, wie das Kompetenzniveau an einer Schule „nachhaltig zu befördern“ sei. Genau das aber versuche die OECD. „Auch an anderen Stellen versucht sie, Einfluss auf die Schulpolitik der PISA-Teilnehmerstaaten zu nehmen.“ So gehe etwa der massive Ausbau der Ganztagsschulen auf eine solche Überinterpretation seitens der OECD zurück.

„Neue schillernde Etiketten“

Kritik übte Klieme auch an einer PISA-Sonderauswertung zum Thema Resilienz, die OECD-Bildungsdirektor Andreas Schleicher unlängst präsentiert hatte. Auch hier überinterpretiere die OECD ihre PISA-Daten: „Sie stellt im Kern bereits bekannte Befunde dar und versieht sie mit neuen schillernden Etiketten, interpretiert Daten teilweise fehlerhaft und zieht gewagte Schlussfolgerungen“, meint Klieme. So werde ein „positives Schulklima“ als Erfolgsfaktor erwähnt, das die OECD aber lediglich als störungsfreien Ablauf des Unterrichts definiere. Klieme schreibt dazu: „Ein ‚positives Schulklima‘ im Sinne guter Lehrer-Schüler-Beziehungen ist etwas anderes als Disziplin im Klassenraum.“ Zudem sei schon lange bekannt, dass ein störungsfreier Unterricht eine wichtige Grundlage für erfolgreiches Lernen sei – nicht zuletzt die Hattie-Studie hat ein konsequentes Classroom-Management durch den Lehrer, also eine aktive Steuerung des Unterrichts, als wesentliches Qualitätsmerkmal ausgemacht.

Überhaupt – Singer und Brown bezweifeln den Sinn des Länderrankings bei PISA. So gebe es bei den Konfidenzintervallen, also im Bereich großer statistischer Sicherheit, starke Überlappungen, die die abgebildete Rangfolge nicht rechtfertigten. Beispielsweise lag Kanada in Mathematik zuletzt auf Platz 10, obwohl es unter Berücksichtigung der statistischen Fehlerwahrscheinlichkeit praktisch ebenso gut auf Platz 7 (Korea) oder Platz 16 (Deutschland) liegen könnte.

Schleicher selbst nahm die Kritik der beiden US-Bildungsforscher übrigens gelassen hin. Er erkärte gegenüber dem „Tagesspiegel“: „Das ist eine sehr gute Studie, über die ich mich freue. Sie gibt uns viele Ansatzpunkte zur weiteren Entwicklung.“ Im Kern gehe es dabei um „technische Aspekte“, die lösbar seien. Große methodische Herausforderungen sehe er allerdings bei den emotionalen und sozialen Kompetenzen der Schülerinnen und Schüler. Diese würden im Berufsleben immer wichtiger – seien aber schwer zu messen. bibo / Agentur für Bildungsjournalismus

„Wir dürfen die Lehrer nicht allein lassen“: PISA-Chef Andreas Schleicher zeigt im N4t-Interview Verständnis für überlastete Schulen

Anzeige


Info bei neuen Kommentaren
Benachrichtige mich bei

14 Kommentare
Älteste
Neuste Oft bewertet
Inline Feedbacks
View all comments
xxx
5 Jahre zuvor

Wenn die PISA-Studien tatsächlich das Papier nicht wert sind, auf das sie gedruckt werden, dann kann man sie sich gleich sparen und alles andere, was infolge von PISA im deutschen Schulsystem angerichtet wurde gleich mit. da wären die Umstellung auf G8, die Kompetenzorientierung, die Rückumstellung auf G9, den Bologna-Prozess, die Inklusion usw.

sofawolf
5 Jahre zuvor
Antwortet  xxx

Genau!

stillmann
5 Jahre zuvor

Zitat: „Prof. Eckhard Klieme, Leiter des deutschen Teils der PISA-Studie 2009, meint, die OECD interpretiere zu viel in die PISA-Dateien hinein – aus politischen Gründen.“
Das denke ich auch seit Jahren. Andres Schleicher ist besessen vom Gleichheitsgedanken mit seiner Gleichmacherei. „Eine Schule für alle“ liest er für Deutschland mit alleinigem Blick auf die lernschwächeren Schüler stets aufs Neue aus den PISA-Studien heraus.

Cavalieri
5 Jahre zuvor

Der Artikel ist nach meiner Einschätzung eher noch zu milde formuliert, aber in der Tendenz grundsätzlich richtig. Ich habe mir etliche PISA-Berichte in der Langversion angesehen. Nicht der Test als solcher ist schlecht, aber die politischen Folgerungen daraus sind einfach ein Skandal. So haben 2001 alle „progressiven“ Bildungspolitiker gemeint, Deutschland müsse sein Schulsystem dem schwedischen anpassen, weil Schweden vorne lag. 2009 und später lag Schweden dann hinter Deutschland, bei der Mathematik sogar ganz krass, und niemand hat gefordert, das schwedische Schulsystem dem deutschen anzupassen. Die Fans der „einen Schule für alle“ haben einfach andere Begründungen vorgebracht und als Ausrede auf „Fehler bei den Schweden“ verwiesen. Wer aber schützt uns vor ähnlichen Fehlern in Deutschland? PISA war out in dem Moment, in dem PISA nicht mehr die eigene Richtung unterstützte. Das gilt auch für die GEW, die 2001 noch meinte, PISA zur Durchsetzng gewerkschaftlicher Ziele benutzen zu können, und später PISA generell gar nicht mehr gut fand. Man drehte alles so, wie es grad passte. Und was Schleicher alles verzapfte, stieß selbst innerhalb des PISA-Konsortiums in Deutschland auf Widerspruch. Man hat es nur nicht allzu laut sagen wollen, schließlich hängen ja Arbeitsplätze in der „Testindustrie“ davon ab.

sofawolf
5 Jahre zuvor
Antwortet  Cavalieri

ZITAT: „PISA war out in dem Moment, in dem PISA nicht mehr die eigene Richtung unterstützte.“

So ist es aber immer. Für alles gibt es ein Publikum und für JEDE Meinung das passende Argument.

sofawolf
5 Jahre zuvor

ZITAT: „So habe Großbritannien eine in Shanghai und Hong Kong übliche Mathematik-Methode namens „Mastery“ flächendeckend an Grundschulen eingeführt, berichten Singer und Braun, wie der „Tagesspiegel“ berichtet.“

Was für eine Methode ist das?

sofawolf
5 Jahre zuvor

ZITAT 2: „So lasse sich aus PISA kein konkreter Maßnahmenkatalog dafür ableiten, wie das Kompetenzniveau an einer Schule „nachhaltig zu befördern“ sei. Genau das aber versuche die OECD. „Auch an anderen Stellen versucht sie, Einfluss auf die Schulpolitik der PISA-Teilnehmerstaaten zu nehmen.“ So gehe etwa der massive Ausbau der Ganztagsschulen auf eine solche Überinterpretation seitens der OECD zurück.“

Finde ich auch.

Ganztagsschulen befürworte ich bestenfalls für Grundschüler und bis Klasse 6. Für ältere Schüler finde ich das Ganztagsschulsystem furchtbar. Ihr Leben besteht dann nur noch aus Schule-Schule-Schule.

sofawolf
5 Jahre zuvor

ZITAT 3: „Zudem sei schon lange bekannt, dass ein störungsfreier Unterricht eine wichtige Grundlage für erfolgreiches Lernen sei – nicht zuletzt die Hattie-Studie hat ein konsequentes Classroom-Management durch den Lehrer, also eine aktive Steuerung des Unterrichts, als wesentliches Qualitätsmerkmal ausgemacht.“

Störungsfreien Unterricht finde ich enorm wichtig für den Lernerfolg. Durch Unterrichtsstudien verlieren wir pi mal Daumen einen Monat Unterrichtszeit !!! Was hätte da alles gelernt und geübt werden können!

sofawolf
5 Jahre zuvor
Antwortet  sofawolf

* durch Unterrichtsstörungen verlieren wir …

sofawolf
5 Jahre zuvor

ZITAT 4: „Große methodische Herausforderungen sehe er allerdings bei den emotionalen und sozialen Kompetenzen der Schülerinnen und Schüler. Diese würden im Berufsleben immer wichtiger – seien aber schwer zu messen.“

Gut, dass das in den Fokus gerät. Die sozialen und emotionalen Kompetenzen sollten daher auch regelmäßig eingeschätzt werden und auf dem Zeugnis gleichberechtigt neben den fachlichen Kompetenzen (Fachnoten) erscheinen. Sie sind wirklich oft wichtiger als die reinen Fachnoten, auch weil sie individuellen Unterschieden besser gerecht werden.

jagothello
5 Jahre zuvor

Mastery learning ist ein didaktisches Konzept, dem Hattie große Bedeutung beimisst. Es geht davon aus, dass das Arbeitstempo von Schülern einer Stufe nahezu normalverteilt ist. Hiervon ausgehend wird das Unterrichtsgeschehen vom Lehrer sehr kleinschrittig in zeitlich eng gefasste Abschnitte gefasst. Der Lehrer ist sehr aktiv dabei und gibt für 5 oder 10 Minuten Sequenzen beispielsweise vor: Diagnostizieren. Lücken schließen. Üben. Feedback geben. Wenn ich es richtig erinnere, stehen bei dem Konzept Diagnose und Feedback im Zentrum. Hiervon wird immer ausgegangen. Das bedeutet natürlich „Individualisieren“. Bevor all diese Feedbackschleifen nicht durchlaufen sind, gibt´s keinen neuen Stoff.

sofawolf
5 Jahre zuvor
Antwortet  jagothello

@ Danke, jagothello.

xxx
5 Jahre zuvor
Antwortet  jagothello

„Diagnostizieren. Lücken schließen. Üben. Feedback geben.“ finde ich in 5-10 Minuten bei 30er Klassen sehr sportlich. Ob sich das derzeit in Deutschland durchsetzen wird, wage ich mal zu bezweifeln, weil sich der Lehrer ja extrem zurückhalten soll.

Ignaz Wrobel
5 Jahre zuvor

Diese Kernfrage kann man nur mit einem deutlichen Ja beantworten.
Der Mann möchte das Schulsystem aus eigenindoktrinierter Wahrnehmung heraus verändern und die Einheitsschule verwirklichen. Wissenschaftliches Arbeiten liegt diesem Menschen fern.
Er hat seine Mitarbeiter, die ihm genehme Ergebnissen zu liefern haben.