Hochschulzulassung: Vorhersage-Algorithmen oft rassistisch voreingenommen

WASHINGTON. Entscheidungen mithilfe von Algorithmen zu treffen, ist nicht nur an US-Hochschulen gängige Praxis. Eine neue Studie zeigt nun, dass Vorhersage-Algorithmen weiße und asiatische Studierende bevorzugen. Dies wirft auch für deutsche Bildungseinrichtungen wichtige Fragen auf.

Während deutsche Hochschulen vor allem auf den Notenschnitt setzen, gehört es besonders für angelsächsische Hochschulen zur Normalität, Zulassungsentscheidungen auf Basis von Prognosealgorithmen zur Vorhersage des Studienerfolgs zu treffen. Offenbar sind diese Vorhersagealgorithmen allerdings häufig rassistisch voreingenommen gegenüber schwarzen und hispanischen Studierenden. Dies zeigt eine neue Studie, durchgeführt unter der Federführung von Denisa Gándara (University of Texas at Austin), die ergab, dass Vorhersagemodelle den potenziellen Erfolg weißer und asiatischer Studierender überschätzen.

Die untersuchten Modelle sagten das Versagen schwarzer und hispanischer Studierender in 19 Prozent bzw. 21 Prozent der Fälle falsch voraus, verglichen mit falsch-negativen Raten für weiße und asiatische Gruppen von 12 Prozent bzw. 6 Prozent. Gleichzeitig sagen die Modelle den Erfolg weißer und asiatischer Studierender in 65 Prozent bzw. 73 Prozent der Fälle falsch voraus, verglichen mit falsch-negativen Raten für schwarze und hispanische Studierende von 33 Prozent bzw. 28 Prozent.

„Unsere Ergebnisse zeigen ein beunruhigendes Muster: Modelle, die häufig verwendete Merkmale zur Vorhersage des Erfolgs von College-Studierenden verwenden, prognostizieren letztendlich schlechtere Ergebnisse für ethnische Minderheitengruppen und sind oft ungenau“, fasst Gándaras Co-Autor Hadis Anahideh zusammen, Assistenzprofessor für Wirtschaftsingenieurwesen an der University of Illinois. „Dies unterstreicht die Notwendigkeit, inhärente Verzerrungen in der prädiktiven Analytik in Bildungseinrichtungen anzugehen.“

Die Studie verwendete US-weit repräsentative Daten aus einem Zeitraum von zehn Jahren. Die verwendeten Daten des National Center for Education Statistics des US-Bildungsministeriums, umfassten Datensätze von rund 15.000 Studentinnen und Studenten.

Die Ergebnisse der Studie weisen auch auf den potenziellen Wert der Verwendung statistischer Techniken zur Minderung von Verzerrungen hin, obwohl es immer noch Einschränkungen gibt. „Während unsere Forschung verschiedene Techniken zur Minderung von Verzerrungen testete, stellten wir fest, dass kein einziger Ansatz Unterschiede bei den Vorhersageergebnissen oder der Genauigkeit zwischen verschiedenen Fairnesskonzepten vollständig beseitigt“, sagte Anahideh.

Hochschulen greifen zunehmend auf Algorithmen und künstliche Intelligenz zurück, um den Studienerfolg vorherzusagen und so verschiedene Entscheidungen zu treffen, neben Zulassungen, etwa auch Entscheiden über Budgets und Studienerfolgsinterventionen. „Da Colleges und Universitäten immer stärker auf Daten basieren, ist es unerlässlich, dass Vorhersagemodelle unter Berücksichtigung ihrer Voreingenommenheit und möglichen Folgen entwickelt werden“, betont Denisa Gándara. „Es ist entscheidend, dass sich die institutionellen Nutzer der historischen Diskriminierung bewusst sind, die sich in den Daten widerspiegelt, und Gruppen, die rassistisch bedingten sozialen Nachteilen ausgesetzt waren, nicht benachteiligen.“

Die Autoren der Studie stellten fest, dass die praktischen Auswirkungen der Ergebnisse erheblich sind, aber davon abhängen, wie die vorhergesagten Ergebnisse verwendet werden. Wenn Modelle zur Entscheidungsfindung bei der Zulassung zu Hochschulen verwendet werden, könnte etwas die Zulassung von Studierenden, die Minderheiten angehören verweigert werden, wenn die Modelle zeigen, dass frühere Studierende derselben Kategorie weniger erfolgreich waren. Forscherinnen und Forscher hätten außerdem davor gewarnt, dass Vorhersagen zu einer Bildungsnachverfolgung führen könnten, die schwarze und hispanische Studierende dazu ermutigen könnte, Kurse oder Hauptfächer zu belegen, die als weniger anspruchsvoll wahrgenommen werden.

Auf der anderen Seite können voreingenommene Modelle zu einer stärkeren Unterstützung benachteiligter Studierender führen. Indem das Modell fälschlicherweise das Scheitern für erfolgreiche Studierende aus ethnischen Minderheiten vorhersagt, kann es diesen Studierenden mehr Ressourcen zukommen lassen. Selbst dann, so Gándara, müssten Praktiker mithin darauf achten, keine Defizitnarrative über Studierende aus Minderheiten zu produzieren und sie so zu behandeln, als hätten sie eine geringere Erfolgswahrscheinlichkeit.

„Unsere Ergebnisse weisen darauf hin, wie wichtig es ist, dass Institutionen Endnutzer über das Potenzial algorithmischer Voreingenommenheit schulen“, sagte Gándara. „Sensibilisierung kann Nutzern helfen, Vorhersagen für einzelne Studierende zu kontextualisieren und fundiertere Entscheidungen zu treffen.“ (pm)

• Die Studie ist in AERA open erschienen:
  Gándara, D., Anahideh, H., Ison, M., & Picchiarini, L. (2024). Inside the black box: Detecting and mitigating algorithmic bias across racialized groups in college student-success prediction. AERA Open, 10(1), 1–15.

„Bahnbrechend“: Finnisches KI-Modell sagt frühzeitig späteren Schulabbruch voraus