Die Illusion der Schulqualität: Eine kritische Betrachtung von Testergebnissen

38

CAMBRIDGE (MASSACHUSETTS). Einfache Bewertungssysteme für die Qualität einer Schule spiegeln laut einer neuen US-Studie eher die Zusammensetzung der Schülerschaft als den Wert, den Schulen in der Förderung ihrer Schüler erreichen. Einfache Verfahrensänderungen könnten die Bewertungen objektiver machen.

Sind Schulen, die sich durch gute Testergebnisse auszeichnen, besonders effektiv, oder nehmen sie hauptsächlich Schülerinnen und Schüler auf, die bereits gut auf den Erfolg vorbereitet sind? Eine aktuelle Studie kommt zu dem Schluss, dass die weitverbreiteten Schulqualitätsbewertungen die Vorbereitung und den familiären Hintergrund der Schülerinnen und Schüler ebenso stark oder stärker widerspiegeln wie den Beitrag der Schule zum Lernzuwachs. „Die durchschnittlichen Ergebnisse einer Schule spiegeln bis zu einem gewissen Grad die demografische Zusammensetzung der Schülerschaft wider“, fasst Studienmitautor Josh Angrist zusammen, Wirtschaftswissenschaftler am Massachusetts Institute of Technology (MIT) und Mitautor der Studie.

Eine Frau beugt sich von hinten über einen an einem Tisch sitzenden Jungen in blauem T-Shirt, der angesterengt auf seinen Block schaut. Sie lächelt und und schreibt etwas auf diesen Block.
Ist es die Schule oder sind es die Schüler? Leistungsbewertungen liefern oft ein verzerrtes Bild. Foto: Shutterstock

Die Studie habe ergeben, dass viele Schulen, die relativ niedrige Bewertungen erhalten, bessere Leistungen erbrächten, als diese Bewertungen vermuten lassen. Die Studie mache deutlich, dass die Ergebnisse herkömmliche Bewertungen in hohem Maße mit Aspekten der ethnischen Herkunft korrelieren. Insbesondere korrelierten viele veröffentlichte Schulbewertungen stark positiv mit dem Anteil der weißen Schülerschaft.

Die Studie stützt sich auf Daten der öffentlichen Schulbezirke von Denver und New York City, wo sich Sechstklässler um Plätze an bestimmten Mittelschulen bewerben und die Bezirke ein Schulzuweisungssystem verwenden. In diesen Bezirken können sich die Schüler für jede Schule im Bezirk entscheiden, aber einige Schulen sind überbelegt. In diesen Fällen entscheidet der Bezirk mithilfe einer Zufallslotterie, wer wo einen Platz erhält.

Diese Art der Zuteilung habe es den Forschern ermöglicht, die Bedingungen einer randomisierten Studie zu imitieren. Durch die Lotterie innerhalb des Algorithmus zur Platzzuweisung würden ansonsten ähnliche Schülergruppen zufällig auf eine Reihe verschiedener Schulen verteilt. Dies erleichterte Vergleiche, die die kausalen Auswirkungen des Schulbesuchs auf den Lernzuwachs aufzeigen. Anhand von Testergebnissen in Mathematik und Englisch bewerteten die Forscher die Fortschritte der Schülerinnen und Schüöer in Denver in den Schuljahren 2012-2013 bis 2018-2019 und in New York City in den Schuljahren 2016-2017 bis 2018-2019

Im Ergebnis stellten die Wissenschaftler fest, dass weiße und asiatische Schülerinnen und Schüler tendenziell besser bewertete Schulen besuchen, während schwarze und hispanische Schülerinnen und Schüler eher an Schulen mit niedrigeren Bewertungen anzutreffen sind. „Einfache Maßstäbe für die Schulqualität, die auf den durchschnittlichen statistischen Daten der Schule beruhen, sind ausnahmslos stark mit der sozialen Herkunft korreliert, und diese Maßstäbe sind tendenziell ein irreführender Leitfaden dafür, was man erwarten kann, wenn man sein Kind auf diese Schule schickt“, so Angrist.

Letztendlich zeige die Studie, dass ein großer Teil der Unterschiede zwischen den Schulen bei den Gesamttestergebnissen auf die Art der Schülerinnen und Schüler an einer bestimmten Schule zurückzuführen sei. Dies ist ein Fall von „Selektionsverzerrung“, wie die Forscher es nennen. In diesem Fall ergibt sich die Selektionsverzerrung aus der Tatsache, dass begünstigte Familien dazu neigen, die gleichen Schulen zu bevorzugen.

„Im Falle der Schulen ist die Selektionsverzerrung sehr folgenreich“, so Angrist. Viele Entscheidungsträger, seien es Familien oder politische Entscheidungsträger, würden durch eine naive Interpretation der Daten in die Irre geführt.

Angrists Co-Autor und MIT-Kollege Parag A. Pathak stellt fest, dass die heute vorherrschenden vereinfachten Schulbewertungen nicht nur ein trügerisches Bild davon vermittelten, wie viel Wert die Schulen für die Schülerinnen und Schüler hätten, sondern auch einen sich selbst verstärkenden Effekt, da gut vorbereitete und besser gestellte Familien die Wohnkosten in der Nähe hoch bewerteter Schulen in die Höhe treiben, wie die Wissenschaftler in der Studie schreiben: „Voreingenommene Bewertungsschemata lenken die Haushalte eher zu Schulen mit geringer Minderheit als zu Schulen mit hoher Qualität, während Schulen, die die Leistungen benachteiligter Gruppen verbessern, bestraft werden.“

Nach Ansicht der Wissenschaftler habe ihre Studie das Potenzial, die Art und Weise, wie Schulqualität gemessen wird, erheblich zu verbessern. Anstelle roher aggregierter Messgrößen wie Testergebnisse verwendete die Studie Veränderungen in den Testergebnissen und eine statistische Anpassung für die ethnische Zusammensetzung, um genauere Messgrößen für die kausalen Auswirkungen des Besuchs einer bestimmten Schule auf die Lernfortschritte der Schülerinnen und Schüler zu berechnen.

Das Forschungsteam hofft, dass ihre Studie die Bezirke dazu veranlassen wird, die Art und Weise, wie sie die Schulqualität messen und darüber berichten, zu überprüfen und zu verbessern. Zu diesem Zweck arbeite das MIT mit dem Bildungsministerium der Stadt New York zusammen, um im Laufe dieses Jahres ein neues Bewertungssystem zu testen. Darüber hinaus planen die Forscher weitere Arbeiten, um zu untersuchen, wie Familien auf verschiedene Arten von Informationen über die Schulqualität reagieren.

Da die Forscher vorschlagen, die Bewertungen auf eine ihrer Meinung nach einfache Weise zu verbessern, indem sie die Vorbereitung und Verbesserung der Schüler berücksichtigen, sind sie der Meinung, dass mehr Behörden und Bezirke daran interessiert sein könnten, ihre Messverfahren zu aktualisieren. „Wir hoffen, dass die einfache Regressionsanpassung, die wir vorschlagen, es den Schulbezirken relativ leicht macht, unser Maß in der Praxis anzuwenden“, so Pathak. (zab, PM)

Pisa-Fakten: Fast 40 Prozent der Schüler hören ihren Mathe-Lehrkräften nicht zu

Anzeige


Info bei neuen Kommentaren
Benachrichtige mich bei

38 Kommentare
Älteste
Neuste Oft bewertet
Inline Feedbacks
View all comments
Indra Rupp
13 Tage zuvor

Kurz : Die Arbeit von Lehrkräften in Brennpunkten und mit benachteiligter Schülerschaft wird nicht wertgeschätzt.
Nichts Neues!
Hierzulande wäre es auch interessant, mal die angeblich im Süden so viel schlechter abschneidenden Gesamt-und Gemeinschaftsschulen unter die Lupe zu nehmen. Haben die evtl auch eine andere Schülerschaft, die gar nicht dem „Gesamtbild“ der Gesellschaft entspricht und deshalb nicht mit einzelnen selektierten Realschulen verglichen werden können, wo die Klientel zusammen kommt, die mit dem Rest nichts zu tun haben will?
Waldorfschulen profilieren sich übrigens auch damit, dass 52% bei ihnen das Abitur machen und schieben das auf ihre Arbeit. Wenn man bedenkt, daß dort hauptsächlich Akademikerfamilien anzutreffen sind, ist es dann doch nicht so viel…

JoS
13 Tage zuvor
Antwortet  Indra Rupp

Die Frage ist, welche Schlussfolgerungen man daraus ziehen kann. Ich würde sagen: Sondierungsverbot konsequent durchsetzen, den Elternwillen komplett übergehen und notfalls auch Schüler*innen einen längeren Schulweg zumuten.

Unfassbar
13 Tage zuvor
Antwortet  Indra Rupp

Der potenzielle Arbeitgeber interessiert sich bei seinen Lehrlingen nur für die absoluten Kenntnisse, nicht von welcher Schule sie kamen und ob sie 4 Punkte besser abgeschnitten haben, als es die Schule vermuten lassen würde, wenn das Leistungsniveau trotzdem noch 10 Punkte schlechter ist als der städtische Schnitt.

DerechteNorden
12 Tage zuvor
Antwortet  Unfassbar

Dann muss der Staat das System gerechter machen. Oder welchen Schlussfolg ziehen Sie?
Ach, ich vergaß, Sie werden wie immer schreiben, dass es die Eltern, die das hinkriegen müssen.

ed840
13 Tage zuvor
Antwortet  Indra Rupp

52% Absolventen mit Abitur wären in manchen Bundesländern sogar schon unter dem Landesschnitt.

Nick
13 Tage zuvor
Antwortet  Indra Rupp

Wenn die Voraussetzungen stimmen, dann darf die Quote beim Abitur an den entsprechenden Schulen gern 100 % betragen. Ich würde da keinen Neid aufkommen lassen. Nicht-Akademiker-Eltern dürfen sich für ihre Kids gern von der Couch erheben. Oder sollen die Akademiker-Eltern die Kids der anderen ebenfalls „mitnehmen“. Das System mag ungerecht erscheinen. Es ist aber nunmal überall so, auch international und nicht nur auf den Waldorfschule.

Lisa
13 Tage zuvor
Antwortet  Indra Rupp

Gilt bestimmt auch für Pisa. Auch da wird nicht berücksichtigt, dass Deutschland sehr viele Fluchtlingskinder aus prekären Verhältnissen aufgenommen hat. Ich schreibe das extra so. Die meisten Kinder waren auch in ihrer Heimat arm oder sind in Flüchtlingslagern auf die Welt gekommen.

ed840
12 Tage zuvor
Antwortet  Lisa

Bei PISA wird das Merkmal Migrationshintergrund schon berücksichtigt und auch gut zugänglich dokumentiert. Seltsamerweise werden aber fast ausschließlich die Durchschnittspunktzahlen der jeweiligen Länder verglichen, obwohl dies m.M. aufgrund z.T. deutlich unterschiedlich strukturierten Stichproben weniger Rückschlüsse zulässt. Dass die getesteten Schüler mit und ohne Migrationshintergrund in Deutschland besser abgeschnitten haben als die beiden Vergleichsgruppen z.B. in Finnland halte ich da schon für aussagekräftiger.

Martina
12 Tage zuvor
Antwortet  Indra Rupp

Zu Gesamt-und Gemeinschaftsschulen stellen Sie die Frage: „Haben die evtl auch eine andere Schülerschaft, die gar nicht dem „Gesamtbild“ der Gesellschaft entspricht…?“
Das ist vermutlich so, hat meiner Meinung nach aber nichts mit einer angeblich arroganten Klientel zu tun, „die mit dem Rest nichts zu tun haben will“, sondern nur mit mit Eltern, die vom Prinzip „Eine Schule für alle“ nicht überzeugt sind. Ich bin es übrigens auch nicht.

DerechteNorden
11 Tage zuvor
Antwortet  Martina

Warum nicht? Wenn an diesen Schulen alle Bevölkerungsschichten und Begabungen vertreten wären, man nach Leistungsniveau äußerlich differenzierte und gemeinsam lernte, wo es möglich ist?
Oder geht es doch danach, dass man den eigenen Nachwuchs nicht so gern mit den „Schmuddelkindern zusammen sieht?

Lera
11 Tage zuvor
Antwortet  DerechteNorden

„Oder geht es doch danach, dass man den eigenen Nachwuchs nicht so gern mit den „Schmuddelkindern zusammen sieht?“

Jupp. Genau darum geht es mir bei meinen Kindern. Haben Sie Kinder?

DerechteNorden
11 Tage zuvor
Antwortet  Lera

Dachte ich mir. Sie sind Teil des Problems. Und dann immer schön an anderer Stelle über die „Schmuddelkinder“ herziehen. Die sind mir am liebsten!

Lera
11 Tage zuvor
Antwortet  DerechteNorden

„Wenn an diesen Schulen alle Bevölkerungsschichten und Begabungen vertreten wären, man nach Leistungsniveau äußerlich differenzierte“

Also erst alle in ein Gebäude, dann aber innerhalb des Gebäudes nach Begabung in verschiedene Räume sortieren…

Wo ist da jetzt der Vorteil gegenüber:

Alle gehen je nach Begabung in verschiedene Gebäude?

Vermutlich dies:
„und gemeinsam lernte, wo es möglich ist?“

Ja, wo ist es denn möglich? Sport, Musik und Kunst? Wow.

DerechteNorden
11 Tage zuvor
Antwortet  Lera

Ganz genau. Das macht den Unterschied. Dass Sie sich darüber lustig machen, wundert mich natürlich nicht. Wie gesagt: Teil des Problems.

vhh
13 Tage zuvor

Bedeutet das wirklich, dass bisher der Basiswert (die ‚Vorbereitung‘), der Hintergrund der SuS irrelevant für die Bewertung von Schulen war? USA, ein Land der Wunder…
Wer hat eigentlich die Formulierung ‚…mit der Rasse korreliert‘ durchgehen lassen? Das was sonst zu lesen ist, würde man doch eher als ’soziokulturellen Hintergrund‘ bezeichnen. ‚..korreliert stark positiv mit dem Anteil der weißen Schülerschaft‘ ist auch etwas befremdlich.

ed840
13 Tage zuvor

Aus statistischer Sicht ist es nichts neues, dass ein Vergleich umso aussagekräftiger ist, je ähnlicher/vergleichbarer die Zusammensetzung der getesteten Stichproben ist. Hat mich schon bei PISA immer gewundert, dass da meist so getan wird, als ob es zwischen den Stichproben der Länder so gut wie keine Unterschiede gäbe und die Punktabstände fast ausschließlich auf das jeweilige Bildungswesen der jeweiligen Länder zurückzuführen sei. Dabei wären die Unterschiede bei PISA eigentlich ziemlich gut dokumentiert und auch leicht zu finden.

Realist
13 Tage zuvor

Mal ehrlich… zur Schulqualität…

Wie geht ihr mit berechtigter Kritik von Schülern und Eltern um?

Habe gerade so einen Fall als Mama…

Es ist eine kleine Schule. Der Schulleiter herrscht. Der Lehrer würde dem Schüler recht geben … aber die Schulleitung ist dagegen, da dir Musterlösung nicht der des Schülers entspricht.

Qualität? Oder der Lehrer hat immer recht?

Bla
11 Tage zuvor
Antwortet  Realist

Verstehe den Zusammenhang nicht.
Generell gibt es schon Sachen, wo ich den Schülern und Eltern recht gebe. Kommt halt immer auf den individuellen Einzelfall an.
Ich sage aber durchaus, dass ich nicht die Schulleitung bin und in einigen Sachen eben keine Auswirkung habe. Das ist nicht mein Bereich des Jobs. Ich kann es nur weiterleiten – was die Schüler/Eltern ebenfalls sollten bei sinnvollen Vorschlägen.
Das verstehen dann Eltern/Schüler schon.
Bin allerdings auch an einer Privatschule. Dort hab ich einen anderen Spielraum als an bspw. meiner alten Regelschule.
Noten gibt es bei uns nicht. Außer zum Abschluss (Quali, MSA, Abi). Dort sind wir in Partnerschaften mit Regelschulen. Letztendlich haben die dann sowohl das Sagen/die Entscheidung, als auch die gesetzliche Verantwortung zu tragen. Wir erstellen, prüfen mit, helfen und beraten – alles in Absprache. Daher sind viele „Probleme“ schonmal vorab (durch Schule ohne Noten) nicht gegeben – dafür halt eben andere Baustellen (Übergang usw.).
Die Eltern/Schüler sind keine „Feinde“ von mir, genauso wenig wie die Schulleitung. Das macht vieles einfacher.

wolfgang Endemann
13 Tage zuvor

Diese Studie liefert ein erwartbares Ergebnis. Verwunderlich nur, daß man nicht schon früher darauf gekommen ist. Auch die Pisastudien eruieren hauptsächlich den Kompetenzerwerb kognitiver Routinen, statt den substantieller Intelligenzfortschritte. Damit spiegeln auch sie hauptsächlich die existierende Sozialstruktur. Es ist schon eine Leistung, wenn Brennpunktschulen nicht als Verstärker der Mißstände auffallen, geschweige denn sie etwas kompensieren.

ed840
12 Tage zuvor
Antwortet  Redaktion

Dass bei PISA ein Vergleich der Durchschnittspunktzahlen der Teilnehmerländer aufgrund der z.T. sehr deutlichen Unterschiede bei der Zusammensetzung der Stichproben nur sehr begrenzt aussagekräftig ist, wird aber kaum thematisiert. Da wird dann meist schon eher so getan, als ob z.B. die Punktzahlen in DK, SWE oder FIN einfach so mit DE vergleichbar wären, obwohl die jeweilige Zusammensetzung der Stichproben eigentlich gut und frei zugänglich dokumentiert ist.

ed840
12 Tage zuvor
Antwortet  Redaktion

Es geht nicht um die Zusammensetzung der Schülerschaft, sondern um die Zusammensetzung der jeweiligen Stichproben, die da getestet wurden. Und da sind die Unterschiede zwischen Deutschland und SWE, NL usw. in der Tat sehr erheblich. Dürfte wohl jedem klar sein, dass die Durchschnittspunktzahlen umso höher werden, je weniger underperformer in die Stichprobe gelangen und je höher der Anteil overachiever ist.

Kompetenzfan
12 Tage zuvor
Antwortet  ed840
ed840
11 Tage zuvor
Antwortet  Kompetenzfan

Ist zwar in Grundzügen schon beschrieben, wo da Abweichungen auftreten, aber ich halte mich dabei trotzdem lieber an die Originalergebnisse der PISA-Studie 2022. Es nicht schwer herauszufinden, wie hoch z.B. die Prozentanteile der aussortierten Probanden oder die Anteile der Probanden aus der sozioökonomisch am höchsten privilegierten Schicht in den einzelnen Ländern waren. Da wurden in Skandinavien oder NL in der Tat drei bis vier mal soviel Prozent aus der Stichprobe aussortiert wie in Deutschland , während der Anteil der sozioökonomisch privilegierten Probanden in der Stichprobe ca. 50% – 100% höher ausfiel als in Deutschland. Würde man die deutsche Stichprobe mit diesen Quoten berechnen, kämen man z.B. in Mathematik auf ca. 500 PKt. Würde man nur Probanden aus Sachsen und Bayern berücksichtigen und nach den gleichen Stichprobenkriterien hochrechnen, würden die vermutlich noch höhere Werte erzielen als Estland. Trotzdem wären auch in diesen Bundesläödner die Leistungsrückgänge zu früheren Test erheblich und das ist m.M. der wesentliche Punkt. Gegen diesen Trend gilt es anzukämpfen, egal ob da andere Länder jetzt ein paar Punkte mehr oder weniger in ihren Statistiken ausweisen.

Unfassbar
12 Tage zuvor
Antwortet  Redaktion

Die Schulsysteme, Klassengrößen usw. werden unterschiedlicher sein als die Schülerschaft als solche.

wolfgang Endemann
12 Tage zuvor
Antwortet  Redaktion

Das ist mir bewußt, das war jedoch nicht mein Punkt. Ich denke, die hier diskutierte Studie richtig verstanden zu haben, die bemängelt, daß Untersuchungen nicht die „Bildungsleistung der Schulen“ mißt, sondern die Sozialstruktur der Elternschaft. Die Pisastudie ist eine vertikale, die die länderspezifische Varianz mittelt und so einen Ländervergleich herstellt. Aber tatsächlich wird sie auch horizontal gedeutet, indem man vergleicht, wie sich im Turnus der Pisastudien die Relationen verschieben. Und daraus möchte man ja auch einen Handlungsbedarf ableiten. In zweierlei Hinsicht kommen fragwürdige Ergebnisse zustande. Erstens ändert sich in Zeiten großer Migrationsbewegungen die Sozialstruktur der Schülerschaft sehr stark, und zweitens schlucken die Durchschnittswerte zu viel – was sagt ein solcher Wert, wenn die individuellen Werte extrem auseinanderfallen?

Bla
11 Tage zuvor
Antwortet  Redaktion

Dafür beschulen heutige Gymnasien eben frühere Haupt-/Mittelschüler. [Mal ganz überspitzt gesagt.]

wolfgang Endemann
11 Tage zuvor
Antwortet  Redaktion

Bitte etwas genauer. Die empirischen Daten zeigen zweifelsohne, daß monokausale Erklärungen kein schlüssiges Bild ergeben. Aber sie können mE auch keine befriedigende multikausale Erklärung liefern, statistische Korrelationen sind noch keine Kausalzusammenhänge. Und so hatte ich die hier vorgestellte MIT-Studie verstanden, die das Problem durch Randomisierung zu umgehen versucht (was sich übrigens nicht auf die Ländervergleichsstudie übertragen läßt). Ob man damit schon erreicht, daß „die kausalen Auswirkungen des Schulbesuchs auf den Lernzuwachs“ aufgezeigt werden können, bleibt eine Frage.
Ich bestreite doch nicht generell den Nutzen der Pisastudien. Aber auch sie stoßen auf dieses Problem.

ed840
11 Tage zuvor
Antwortet  Redaktion

Bei PISA ist m.M. ein aussagekräftiger Vergleich der Bildungssysteme zwischen Deutschland und anderen Ländern gar nicht möglich, da der Punktwert in DE ein Durschnittswert von 16 Bundesländern mit unterschiedlichen Schulsystemen, Schularten, Schulabschlüssen, Schulfächern, Lehrplänen, Benotungssystemen usw. usw, ist. In den meisten anderen Ländern gibt es dagegen ein einheitliches Schulsystem. Die skandinavischen Bildungssysteme können Sie mit Ihrer Aussage zu den Migranten vermutlich auch nicht gemeint haben, denn die Unterschiede z.B. beim Lesen betrugen trotz in DE 67 Punkte, in SWE 81 Punkte in Finnland 92 Punkte. In DK waren es zwar „nur“ 63 PKt, dort wurden aber mit ca. 11,5% viermal so viele Probanden aus der Stichprobe aussortiert wie in DE mit 2,5%. In FIN wurden nur doppelt so viele, in SWE nur dreimal so viel aussortiert wie in DE.
Dass der Anteil an Schülern mit Migrationshintergrund in DE z.T. deutlich höher ist als in den Skandinavischen Ländern sollte man bei der Bewertung der Ergebnisse m.M. auch nicht außer Acht lassen. Finnland 7%, DK 11%, SWE 21% , DE 26%.

SEKII-Lehrer
11 Tage zuvor

Diese Selektionsverzerrung erklärt hierzulande den „Erfolg“ von Privatschulen. Ich unterrichte aktuell eine Klasse, in der ein Drittel zuvor eine Privatschule besucht hat, und alle diese Schülerinnen berichten, dass ihre ehemaligen Mitschülerinnen aus gehobenen sozioökonomischen Verhältnissen stammten.

Bla
11 Tage zuvor
Antwortet  SEKII-Lehrer

Gilt gleiches nicht auch für Gymnasien?

ed840
11 Tage zuvor
Antwortet  Bla

Dann müssten in Bundesländern wie Berlin etc. mehr als die Hälfte der Kinder aus gehobenen sozioökonomischen Verhältnissen stammen, was ich für eher unwahrscheinlich halte.

Kompetenzfan
11 Tage zuvor
Antwortet  SEKII-Lehrer

Aber in anderen Ländern gibt es auch Privatschulen, auch in Schweden. Dort fallen allerdings keine Schulgebühren für die Eltern an. Aber etliche Privatschulen verstehen sich als gewinnorientierte Unternehmen, man frage Dr. Google unter „Schweden Privatschulen“. Da lese ich z.B. „ein Viertel der schwedischen Schulen sind privat“.

DerechteNorden
11 Tage zuvor
Antwortet  Kompetenzfan

Jepp, und die sind ordentlich in Verruf.

Kompetenzfan
11 Tage zuvor
Antwortet  DerechteNorden

Wo steht das? Ich habe gelesen, die seien beliebt, manche stünden allerdings auch in der Kritik.