Hintergrund: Wer die PISA-Studie entwickelt – und wie Lehrer den Test erleben

11

BERLIN. Ihren Namen verbinden viele immer noch mit dem  Wort “Schock”, seit sie vor 18 Jahren den Nimbus vom international führenden deutschen Bildungssystem zerstörte: PISA ist jetzt in siebter Neuauflage erschienen (News4teachers berichtete). Wer und was steckt dahinter?

“Mr. PISA”: OECD-Direktor Andreas Schleicher. Foto: SPÖ / Mag. Gisela Ortner / flickr (CC BY-SA 2.0)

PISA – das Kürzel steht für «Programme for International Student Assessment» (Programm für internationale Schülerbewertung) – ist die weltweit größte empirische Bildungsstudie. Die Federführung hat die OECD, die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung. In ihr haben sich 36 Industrieländer und höher entwickelte Länder zusammengeschlossen. Die Organisation erstellt regelmäßig Studien und gibt Politikempfehlungen ab. „Das Ziel der OECD ist es, eine Politik zu befördern, die das Leben der Menschen weltweit in wirtschaftlicher und sozialer Hinsicht verbessert“, so heißt es. OECD-Bildungsdirektor Andreas Schleicher ist seit der ersten Erhebung 2000 der Koordinator der PISA-Studie. Weltweit sind Hunderte von Bildungsforschern einbezogen.

Anzeige


In Deutschland wird der eigentliche PISA-Test vom Zentrum für internationale Bildungsvergleichsstudien (ZIB) durchgeführt, einem Verbund der Technischen Universität München (TUM), des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF) und des Leibniz-Instituts für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel (IPN).

PISA-Tests finden alle drei Jahre statt, immer in den Bereichen Mathematik, Lesen und Naturwissenschaften. Jeweils ein Bereich ist Schwerpunktthema. Getestet werden Hunderttausende per Stichprobe ausgewählte 15-Jährige Schülerinnen und Schüler in mittlerweile 79 Ländern.

Eine Schulleiterin berichtet: “Wir bekamen detaillierte Anweisungen”

Die Leiterin einer Hamburger Stadtteil-Schule berichtet gegenüber der „Süddeutschen Zeitung“ davon, wie die Tests an ihrer Schule abliefen. Das Verfahren sei „aufwendig“ gewesen. „Wir bekamen eine Liste der ausgewählten Schülerinnen und Schüler und detaillierte Anweisungen. Vor dem Test kamen PISA-Mitarbeiter und haben alle Computer geprüft. Die Schülerinnen und Schüler wurden gruppenweise an zwei Tagen geprüft, insgesamt haben bei uns 60 Jugendliche am PISA-Test teilgenommen. Sie mussten für vier Stunden aus dem Unterricht, um am Computer die Aufgaben zu lösen. Das Testprogramm ist über einen Stick abgespielt worden und hat automatisch die Nutzung aller anderen Funktionen blockiert. Da konnte niemand im Internet surfen“, erzählt sie.

Die Tester kommen mit USB-Sticks an die Schulen. Die Schüler klicken sich dann am Computer rund zwei Stunden lang durch Aufgaben, meist «multiple choice», also Häkchen-Setzen bei der richtigen Antwort. Beim Lesetest werden inzwischen nicht mehr nur einfache Texte vorgelegt, zu denen dann anschließend inhaltliches abgefragt wird. Die Schüler müssen sich jetzt zum Beispiel auch in einem fiktiven Internetforum bewegen und bewerten, ob der Post eines Mitglieds hilfreich für ein bestimmtes Thema ist oder ob da jemand eine Falschbehauptung aufstellt. Dinge, mit denen im Netz heute jeder konfrontiert ist.

Das Testsystem passt sich zudem den Schülern an: Wer gut durch einen bestimmten Aufgabenblock kommt, bekommt im zweiten Block schwierigere Aufgaben. Damit können die sogenannten Kompetenzstufen bestimmt werden – also das Leistungsniveau der Schüler.

“Uns ist heute wichtiger, dass Schüler den Stoff wirklich verstanden haben”

Getestet wird in der Regel im Frühjahr, die Ergebnisse werden dann im Dezember des Folgejahres veröffentlicht. Neben dem reinen PISA-Test werden über Fragebögen auch Daten von Schülern, Schulen und Eltern erhoben, wie Alter, Geschlecht oder Migrationshintergrund oder Fragen zur Lebenszufriedenheit. Diese werden für Sonderauswertungen genutzt. So gibt es auch zwischen den eigentlichen PISA-Ergebnissen, die nur alle drei Jahre vorgelegt werden, immer wieder mal PISA-Schlagzeilen.

Kritik an PISA kommt insbesondere von konservativer Seite – etwa dem Ehrenvorsitzenden des Deutschen Lehrerverbands, Josef Kraus. “PISA hat mit Bildung sehr wenig zu tun. Wir brauchen eine Bildungsdebatte und keine PISA-Debatte. Da wird nur ein minimaler Ausschnitt aus dem Unterrichtsgeschehen abgebildet – weite Bereiche werden außen vor gelassen”, meint er und hat sogar ein Buch mit dem provokanten Titel “Der PISA-Schwindel” veröffentlicht.

“Kompetenzen, die für den Lernprozess und den Wissenserwerb wichtig sind”

Tatsächlich erhebt PISA aber gar nicht den Anspruch, Unterrichtsinhalte zu prüfen. “Die Testaufgaben orientieren sich nicht an spezifischen Lehrplänen, sondern an Kompetenzen, die für den Lernprozess und den Wissenserwerb wichtig sind”, so heißt es etwa beim Bundesbildungsministerium. Und weiter: “Den PISA-Studien liegt ein differenziertes Konzept von Kompetenzen zu Grunde. Lesekompetenz heißt, mehr als Informationen aus Texten entnehmen zu können. PISA untersucht vor allem die Fähigkeit, geschriebene Texte unterschiedlicher Art in ihren Aussagen, ihren Absichten und ihrer Form zu verstehen und in einen größeren Zusammenhang einordnen zu können. Mathematische Kompetenz meint, ein Grundverständnis von Mathematik und ihrer Bedeutung in unserer kulturellen und technischen Welt zu haben. Naturwissenschaftliche Kompetenz beinhaltet, grundlegende naturwissenschaftliche Konzepte zu verstehen und mit naturwissenschaftlichen Denk- und Arbeitsweisen vertraut zu sein.” Das Bundesbildungsministerium ist gemeinsam mit der KMK Auftraggeber von PISA hierzulande. Die beiden Organisationen tragen auch die Kosten für den deutschen Teil der Studie von rund 1,5 Millionen Euro pro Jahr.

Für die Hamburger Schulleiterin war die aktuelle Erhebung nicht die erste, die sie direkt miterlebte. Bereits bei der ersten PISA-Studie vor 19 Jahren waren Schüler von ihr getestet worden. Der damalige Schock nach Veröffentlichung der Ergebnisse sei „heilsam“ gewesen, sagt sie. Was sich geändert hat? „Wir befassen uns heute zum Beispiel intensiver damit, wie Kinder den Unterricht wahrnehmen, die Deutsch nicht als Muttersprache gelernt haben. Und uns ist heute wichtiger, dass Schüler den Stoff wirklich verstanden haben. Ich wäre bei meiner Abiturprüfung oft noch gut mit Auswendiglernen durchgekommen“, antwortet sie. News4teachers / mit Material der dpa

Hier geht es zu einer Beispiel-Testaufgabe.

Interview mit Schleicher: “Wir sollten die guten Ideen aus den Klassenzimmern ins System holen – das ist das Entscheidende“

Anzeige


11 KOMMENTARE

  1. Großen Dank an die Redaktion für die genaue Darstellung der Vorgehensweisen und die Darstellung der erfassten Fähigkeiten der Schüler bei den PISA-Tests der OECD (79 Länder).

  2. Hier geht’s zum Langbericht von PISA 2018:
    https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/PISA_2018_Berichtsband_online_29.11.pdf
    Herr Möller: Auf Seite 150 steht was Interessantes.
    Hinsichtlich der Nicht-Migranten wird Deutschland bei der Lesekompetenz (Mittelwert: 524 Punkte) von KEINEM europäischen Land signifikant übertroffen, Finnland liegt nur um 5 Pünktchen vorne, das gilt nicht als signifikant. Aber es gibt fettgedruckte negative Zahlen für die Lesekompetenz der Migranten in Finnland !!
    Ich kann das nur so interpretieren: Die PISA-Illusionen bezüglich Finnland sind zerplatzt wie Seifenblasen. Auch Finnland gelingt es nicht oder nicht mehr, die Migranten so zu fördern wie das immer behauptet wurde. Und die hohen Werte gab und gibt es offenbar nur, weil Finnland eben nur wenige Migranten hatte und hat. Das sind PISA-Zahlen, keine Erfindung von mir.

    • @Carsten60:
      In der Tat, das habe ich auch festgestellt: die Mittelwerte von Finnland sind 2018 gegenüber 2009 (letzte Hauptdomäne Lesen) in Lesen insgesamt um 16 Punkte zurück gegangen (von 536 (2009) auf 520 (2018)).
      Die Rückgänge bei den Migranten betragen sogar signifikante (deshalb fett) 25,6 Punkte auf 478 Punkte in 2018. Bei den Nicht-Migranten beträgt der Rückgang signifikante 10,2 Punkte auf 529 in 2018.
      Im Vergleich dazu Deutschland 2018:
      Nichtmigranten: 524; Nicht-Migranten 472.
      2018 unterscheiden sich Deutschland und Finnland in beiden Populationen nicht mehr signifikant.
      Die Unterschiede in den Gesamtwerten in 2018 ergeben sich rechnerisch in der Tat durch die unterschiedlichen Anteilen bei den Migranten bzw. Nicht-Migranten in Deutschland und Finnland.
      Finnland: 12,4% Migranten; Deutschland 35,6%.
      Woran es liegt, dass Finnland diesen “Absturz” seit 2009 hat, weiß ich nicht. Es liegt sicherlich nicht daran, dass “PISA-Illusionen wie Seifenblasen zerplatz sind.”
      Hier bedarf statt populistischer Formulierungen ernsthafter Analysen.
      Vielleicht kennt jemand hier im Blog erste Analysen aus Finnland

      • Herr Möller: Noch vor kurzem haben Sie hier im Forum die finnische Schule gepriesen (wie andere auch), und als ich aus einer Analyse von Frau v. Freymann etwas zu der geringen Zahl von Migranten in Finnland nur zitiert (!) habe, da haben Sie gemeint, das nähmen Sie mir aber sehr übel. Und jetzt tun Sie ganz unschuldig und meinen, ich würde populistisch argumentieren. Ich versuche die Wirklichkeit ohne die üblichen politischen Illusionen zu kommentieren !! Es gelingt der finnischen Schule offensichtlich auch nicht, ALLE Kinder so gut zu fördern wie das (z.B. von der GEW) immer behauptet wurde. Das Zerplatzen der Illusionen ist jetzt eine (ganz heilsame) Wirkung, aber natürlich keine Ursache. Man kann auch sagen: Finnland ist entzaubert, so wie Schweden schon vor etlichen Jahren. Und die anderen europäischen Länder sind bei PISA 2018 auch nicht besser als Deutschland, einige haben nur (wie Polen und Estland) viel weniger Migranten. Jetzt gibt es gar keinen “Musterschüler” mehr, zu dem man aufschauen könnte. Warum schneidet eigentlich das privilegierte Luxemburg so schlecht ab?

        • Das gute Abschneiden von Finnland in der Vergangenheit hatte vor allem damit zu tun, dass sowohl Migranten als auch Nicht-Migranten deutlich besser als in Deutschland gefördert wurden. Ich wiederhole: Bei Nicht-Migranten gab es 2018 einen Rückgang seit 2009 von 10,2 Punkten und bei den Migranten von 25,6 Punkten. Zum damaligen Zeitpunkt war ihr Rückgriff hier im Blog auf die Migrantenquote zur Begründung des guten Abschneidens von Finnland schlicht die Unwahrheit, es sei denn Sie würden über hellseherische Fähigkeiten verfügen.

        • Herr Möller: Erstens hatte ich nur zitiert, was Frau v. Freymann schrieb. Sie ist in Finnland geboren und jetzt deutsche Beamtin im Didaktikbereich (inzwischen pensioniert, 88 Jahre).
          Zweitens ging es auch um andere Spezialitäten Finnlands, z.B. die Filme mit Untertitel und die langen Winterabende sowie die gänzlich andere Kultur insgesamt.
          Drittens darf ich hier zitieren, was ich will (außer extremistische Quellen), und muss Sie nicht um Erlaubnis fragen, ob das schulpolitisch erwünscht ist.
          Viertens ist die Mitteilung “das nehme ich Ihnen aber übel” völlig unpassend für eine Diskussionsrunde wie hier. Es wirkt überheblich.
          Und fünftens bin ich kein Hellseher, aber schon länger unken Zeitungen, dass in Finnland die Welt nicht mehr so heil ist wie in den Träumen rot-grüner Schulpolitiker. Die ZEIT titelte 2018 was vom “Ende des Bildungswunders”, und der Tagesspiegel schrieb schon 2014 dies hier:
          https://www.tagesspiegel.de/wissen/finnische-schulen-in-not-der-pisa-riese-strauchelt/9822492-all.html
          Also war ich nicht überrascht von dem jetzigen PISA-Absturz Finnlands. Ich hatte sogar mehrmals an Ihre Adresse geschrieben: “Warten wir mal PISA 2018 ab”. Meine Vermutung hat sich bestätigt. Sie dagegen wirken auf mich eher naiv, weil Sie diese Anzeichen nicht gesehen haben wollen.

      • Bezüglich Finnland wurde vor Jahren davon gesprochen, dass bei den ersten großartigen PISA-Ergebnissen zwar das Bildungssystem schon umgestellt war, die Unterrichtspraxis der Lehrer und die Reputation der Lehrer in der Gesellschaft aber noch so wie früher gewesen seien. Erst seit die “neuen” Unterrichtsmethoden zu wirken begannen, seien die finnischen PISA-Ergebnisse schlechter geworden. Wenn das stimmt, wäre es plausibel, dass sich dieser Trend fortsetzt.

  3. PISA-Test 2018 – China liegt ganz weit vorn!
    Neben Estland (525 Durchschnittspunkte), Finnland (516 Punkt) liegt China mit 579 Punkte im Durchschnitt beim PISA-Vergleich 2018 der OECD von 600.000 Neuntklässler aus 79 Ländern weit vorn in der Lese- und Rechtschreibkompetenz, in Mathe und in den Naturwissenschaftlichen Fächern! China überholt die Welt nicht nur ökonomisch, sondern nunmehr auch in Bildungsfragen beeindruckend! Die deutschen 14- bis 15-jährigen Mädchen und Jungen liegen leicht über dem Durchschnitt in den drei Kategorien Lese-Rechtschreib-Kompetenz (498 Punkte- Mittelwert 487), Mathe (500 Punkte – Mittelwert 489 Punkte) und Naturwissenschaften (503 Punkte- Mittelwert 489) – sie haben sich aber im Vergleich zu den zurückliegenden Jahren von der kognitiven Leistungsfähigkeit her insgesamt vergleichsweise leicht verschlechtert (die Differenz beträgt immerhin 11 bzw. 14 Punkte). Bemerkenswert und gleichzeitig sehr traurig ist die Tatsache, dass ca. 20 Prozent der Neuntklässler nicht korrekt Lesen und das Gelesene nicht verstehen können (und wohl auch nicht richtig Schreiben können). Dies hat eindeutig etwas mit dem Deutschen Bildungssystem (in den Grundschulen) zu tun (methodisch-didaktische Defizite, Schreiben nach dem Gehör, synthetische Methode des Lesen-Lernens, Übungsdefizite,…) und kann nicht mit dem funktionellen Analphabetismus erklärt werden, wie die Bildungsministerin Karliczek am 03.12.2019 in den Nachrichten von welt.de sinngemäß erklärte, weil die Quote hier bei ungefähr 7,5 Prozent liegt (Rest 12,5 Prozent)! Das Bildungsniveau einzelner Schüler hängt eindeutig mit sozioökonomischen Faktoren zusammen – hier liegen die Differenzen bei bis zu 113 Punkten (fördernde sozioökonomische Bedingungen vs. beeinträchtigende sozioökonomische Verhältnisse). Und dies ist einfach erschreckend und hängt absolut nicht mit der Intelligenz der Jugendlichen zusammen, sondern mit den fördernden, positiven Angeboten und Anreizen im Elternhaus zusammen! (Angebote an Büchern, Lernmaterial, Computer, psychosozialen Bedingungen,…). Nach wie vor bildet das Fach Mathematik einen starken Problemschwerpunkt. Es ist absolut unverständlich, dass die Deutschen Politiker nichts aus empirischen Erfahrungen und aus der Vergangenheit lernten: Finnland liegt in Serie beim OCED-Pisa-Verbleich seit Jahren ganz weit vorne. Und Finnland hat sich das Bildungssystem der DDR zu Eigen gemacht. Übrigens: Ende der Siebziger/ Anfang der Achtziger Jahre wurde durch ein internationales Team von Psychologen Kinder und Jugendliche u.a. auch aus der Bundesrepublik und der DDR einer Untersuchung zur Intelligenzentwicklung unterzogen (Anwendung des Leistungsprüfsystem von Horn, Progressive Matrizen,) . Dabei zeigte sich, dass die Kinder und Jugendlichen der DDR 10-IQ- Punkte besser abschnitten. Dies hing natürlich nicht mit einer besseren Entwicklung der Intelligenz zusammen, sondern mit dem Polytechnischen Bildungssystem der DDR! (das übrigens ursprünglich aus der Schweiz bzw. aus Frankreich stammte).
    Siegfried Marquardt, Königs Wusterhausen

  4. Brandenburgs Schüler beim Ergebnis der Lesekompetenz absolut katastrophal!
    Interessant war noch bei den Resultaten von Pisa-Test 2018, die kürzlich erst veröffentlicht wurden, in Erfahrung zu bringen, wie die einzelnen Bundesländer der Bunderepublik Deutschland hier abgeschnitten haben. Erfreulich ist, dass Brandenburger Gymnasiasten im Fach Mathe 550 Punkte „absahnen“ konnte. Ein hervorragendes Ergebnis, liegt Brandenburg damit doch 61 Punkte über den Durchschnitt! (wenn die Grafik bei Google „Pisa 2018“ auch stimmen sollte). In den Naturwissenschaften wurde durch die Brandenburger Neuntklässler hingegen nur ein mäßiges Ergebnis mit 470 Punkten erzielt und liegt damit mit 19 Punkten unter dem Durchschnitt des Pisa-Ergebnisses (30 Punkte unter dem OECD-Mittel). Und bei der Lesekompetenz schlossen die Brandenburger 15-jährigen Schüler mit 459 Punkten sogar absolut katastrophal ab und liegen mit 28 Punkten weit unter dem Durchschnitt! (41 Punkte unter dem OECD-Schnitt). Bayer liegt hier mit 519 Punkten ganz weit vorne, gefolgt von Baden-Württemberg (505 Punkte) und Sachsen (491Punkte) (Thüringen liegt mit 482 Punkten auf dem 6. Platz. Ein analoges Bild ergibt sich bei der Leistungsfähigkeit der 15-jährigen Schüler bei den Naturwissenschaften. Bayer (508 Punkte), Baden-Württemberg (500 Punkte) und Sachen (499 Punkte teilen sich die ersten drei Plätze, gefolgt von Thüringen mit 495 Punkten. Das Ergebnis der Inkompetenz beim Lesen der Brandenburger Neuntklässler verwundert absolut nicht: Jahrzehnte wurden die Grundschüler in Brandenburg mit inadäquaten, ja falschen didaktischen Methoden beim Erwerb des Lesens (und Schreibens) unterrichtet (Schreiben nach Gehör, synthetische Methode, Übungsdefizite…) anstatt hier analytisch vorzugehen! Eine ganze Generation von Schülern wurde so zu funktionellen Analphabeten umfunktioniert, aber nicht gebildet! Da fragt man sich wirklich, wie es um die Bildung und Qualifikation der Bildungsminister und der Mitarbeiter im Bildungsministerium von Brandenburg bestellt ist?
    P.S.: Einmal ist der Durchschnitt von Deutschland gemeint (Lesen:487, Mathe: 489, Naturwissenschaften:489) und ein andermal ist der OECD-Durchschnitt mit 500 Punkten gemeint.
    Siegfried Marquardt, Königs Wusterhausen

    • Kurze Frage an Siegfried Marquardt:
      Woher haben Sie die Länderergebnisse von PISA 2018? Kann man die wo einsehen?
      Ich dachte, die würden nicht mehr veröffentlicht.

HINTERLASSEN SIE EINE ANTWORT

Please enter your comment!
Please enter your name here