Schwache Schüler per Mausklick-Analyse identifizieren: Ist das die Leistungsdiagnostik der Zukunft?

FRANKFURT/MAIN. Einem internationalen Wissenschaftlerteam ist es gelungen, das Textverständnis von Schülerinnen und Schülern aus ihren Mausklicks nachzuvollziehen. Dazu nutzten Sie PISA-Daten aus dem Jahr 2012.

Bei digitaler Leistungsdiagnostik denken die meisten Menschen wohl zuerst an den Profisport. Doch auch in der digitalisierten Schule der Zukunft stehen neue Mittel zur Diagnose von Lernverhalten und Lernerfolg von Schülerinnen und Schülern zu erwarten. Einem internationalen Wissenschaftlerteam um Frankfurter Psychologin Carolin Hahnel ist es nun gelungen, eine Lernsoftware so programmieren, dass sie erkennt, ob Schülerinnen und Schüler einen Text verstehen. An der Studie waren Forscherinnen und Forscher des DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation, des Zentrums für Internationale Bildungsvergleichsstudien (ZIB) und des Australian Council for Educational Research (ACER) beteiligt.

Anhand von Aufgaben aus der PISA-Studie identifizierten die Wissenschaftlerinnen und Wissenschaftler spezifische Klickmuster, die sich verschiedenen Verhaltensweisen beim Lesen zuordnen ließen. Beim digitalen Lernen, so die Forscher, könnten diese Verhaltensmuster helfen, Schülerinnen und Schüler mit Verständnisproblemen zu identifizieren und sie daraufhin angemessen zu unterstützen.

Für die Studie wurden Daten aus der PISA-Studie 2012 herangezogen, welche einen zusätzlichen Schwerpunkt darauf gelegt hatte, wie kompetent Schülerinnen und Schüler Texte in digitalen Medien lesen können. In verschiedenen Aufgaben mussten die Teilnehmenden damals zum Beispiel herausfinden, welche Dienstleistungen eine Internet-Lernplattform anbietet, welches Fitnessstudio aus einer gegebenen Auswahl am günstigsten ist oder wann ein bestimmtes Konzert stattfindet. Die bei der Lösung dieser Aufgaben entstandenen Logdaten – Mausklickdaten mit Angaben zum Zeitpunkt des Klicks – wurden vom Forschungsteam um Carolin Hahnel vom DIPF auf gemeinsame Muster hin überprüft. Dabei verwendeten sie die Daten von 9.226 Probandinnen und Probanden aus sieben Ländern (Australien, Deutschland, Frankreich, Irland, Kanada, Österreich, USA).

„In Bildungskontexten ist es von zentraler Bedeutung, gerade die wenig aktiven Schülerinnen und Schüler zu erkennen“

Besonders relevant waren für die Wissenschaftlerinnen und Wissenschaftler die einzelnen Navigationsschritte und zu welchem Zeitpunkt die Schülerinnen und Schüler diese unternommen haben. „Wenn sich in der Abfolge der einzelnen Schritte klare gemeinsame Muster auffinden lassen, dann können diese auch hilfreich sein, um bei digitalen Leseaufgaben gezielt Feedback zu geben“, erläutert Hahnel den Ansatz der Studie. „Lehrkräfte könnten somit Hinweise darauf erhalten, ob jemand nicht ganz bei der Sache ist oder Verständnisprobleme hat.“

Tatsächlich seien je nach Aufgabenstellung mehrere Muster gefunden worden, welche sich zudem auch länderübergreifend feststellen ließen. Beispielsweise ermittelten die Forscher eine „erkundende Gruppe“ von Schülerinnen und Schülern, die weniger konzentriert und zielsicher vorgingen als Schülerinnen und Schüler in einer „aufgabenorientierten Gruppe“. Beide Gruppen zeigten sich aber deutlich aktiver als etwa Schülerinnen und Schüler mit einem „passiven“ Bearbeitungsstil. Um diese Muster und Gruppenzuordnungen besser interpretieren zu können, setzte das Team seine Daten in einem zweiten Schritt im Zusammenhang mit den jeweils gemessenen Leseleistungen der Schülerinnen und Schüler, dem Geschlecht und dem sozioökonomischen Status.

Dabei habe sich bestätigt, dass die digitalen Verhaltensmuster der einzelnen Schüler auch durch ihre jeweilige Lesefähigkeit erklärbar seien. „Die passive Gruppe zeigte zum Beispiel im Schnitt schlechtere Lesekompetenzen – digital und auch bei Printmaterialien“, betont Carolin Hahnel. „In Bildungskontexten ist es wiederum von zentraler Bedeutung, gerade die wenig aktiven Schülerinnen und Schüler zu erkennen. Es gilt, sie zu ermuntern und nicht zuletzt den Grund für ihre fehlende Motivation zu finden.“ Zugleich warnte sie davor, Lesefertigkeiten allein aus der Auswertung von Logdaten und der Einordnung in eine Verhaltensgruppe abzuleiten. Stattdessen müssten immer auch die jeweilige Aufgabenstellung und der Kontext, in dem sie bearbeitet wird, mitbetrachtet werden. Nicht zuletzt stehe die Forschung zur kontextsensitiven Anwendbarkeit von Logdaten in digitalen Lernprogrammen noch in ihren Anfängen, so die Psychologin. (zab, pm

• Die Ergebnisse der Studie werden in einem Fachartikel im Journal of Computer Assisted Learning erläutert (engl.).

Künstliche Intelligenz in der Bildung: Wenn das Schulbuch per „eye tracking“ die Aufmerksamkeit des Schülers misst – ein Albtraum!