Schule21 im Gespräch mit Prof. Dr. Frank Goldhammer

Lieber Herr Prof. Goldhammer, Sie arbeiten am DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation daran, überfachliche Kompetenzen von Schüler:innen und Studierenden durch die Bearbeitung von digitalen Aufgaben zu messen. Wenn man das hört, stellt sich unweigerlich die Frage, ob und wie das überhaupt möglich ist. Lassen sich Fähigkeiten wie z. B. Problemlösen, der Umgang mit Informationsquellen oder auch Selbstregulation beim Lernen im Rahmen einer computerbasierten Bearbeitung von Aufgabe wirklich beobachten?

Ja, wenn natürlich auch nur in Grenzen. Es muss durch die Gestaltung der Aufgabensituation gelingen, individuelles Verhalten hervorzurufen, das einen möglichst eindeutigen Rückschluss auf die untersuchte Fähigkeit der Person erlaubt. Unser Ansatz sind interaktive digitale Aufgaben und sogenannte „Prozessdaten“, die bei der Interaktion der Person mit der Aufgabe gesammelt werden: Stellen wir uns vor, ein Schüler – nennen wir ihn für den Moment Jassin – bearbeitet am Computer in einer digitalen Lernumgebung einige Aufgaben in Mathematik. Diese digitale Lernumgebung kann nicht nur erfassen, ob Jassins Antworten auf die Aufgaben richtig oder falsch sind. Sie kann zudem chronologisch alle Interaktionen Jassins mit der Lernumgebung aufzeichnen. Also zum Beispiel, wann er was und in welcher Reihenfolge anklickt, was er mithilfe der Tastatur eingibt, welche Pausen er dabei macht etc. Solche Prozessdaten spiegeln Jassins Bearbeitungsverhalten wider und erlauben Rückschlüsse auf sein Vorgehen und die zugrunde liegenden kognitiven Prozesse. Die Auswertung solcher, in Form von Logfiles aufgezeichneter Prozessdaten macht damit sichtbar, wie Jassins Lösungsweg aussah und an welcher Stelle er möglicherweise Unterstützung benötigt, um die Aufgaben richtig zu lösen.

Anders formuliert: Prozessdaten können dazu beitragen, das Verständnis von Antwort- und Lösungsprozessen zu erweitern und entsprechende Unterschiede zwischen Personen zu identifizieren. Dies betrifft bspw. eingesetzte Problemlösestrategien oder die Art der Selbstregulation, wenn die Personen Lernmaterialien in einer Lernumgebung nutzen. Versteht man besser, weshalb eine Lernende eine bestimmte Aufgabe nicht richtig lösen oder ihren Lernprozess nicht angemessen überwachen und anpassen konnte, kann man ihr gezielt eine lernförderliche Rückmeldung geben. Das kann während des Bearbeitens oder unmittelbar danach erfolgen.

Das klingt erstmal einleuchtend, wobei ich immer dachte, dass die klassische Lernsoftware genau so vorgeht. Aber vielleicht könnten Sie ein konkretes Projekt aus Ihrem Arbeitsbereich beschreiben, dass mir den Mehrwert dieser aktuellen Entwicklung deutlich macht?

Sehr gern: Mein Arbeitsbereich „Technology Based Assessment“ (TBA) am DIPF hat sich in den vergangenen Jahren intensiv damit befasst, wie sich Prozessdaten – unter anderem aus großen internationalen Bildungsvergleichsstudien – diagnostisch nutzen lassen. Nehmen wir zum Beispiel unsere Studie “Profan – Prozessindikatoren: Von der Erklärung des Aufgabenerfolgs zum formativen Assessment“. Innerhalb des Projekts untersuchen wir anhand von Prozessdaten aus der Studie „PISA 2012“, wie sich festgestellte Geschlechterunterschiede in der Problemlöseleistung (zum Beispiel bei einer Aufgabe zum Bedienen eines Ticket-Automaten) erklären lassen. Wir schauen genau hin, wie unterschiedlich sich Jungen und Mädchen mit dem in der Aufgabe beschriebenen Problemraum auseinandergesetzt haben, wie unterschiedlich also ihre Exploration ausgefallen ist, wie wir es in der Fachsprache nennen. Tatsächlich konnten wir anhand von Prozessdaten zeigen, dass der beobachtete Leistungsunterschied zugunsten von Jungen nicht mehr besteht, sobald man das Explorationsverhalten berücksichtigt: Bei vergleichbar intensivem Explorationsverhalten schneiden Mädchen und Jungen gleich gut ab. Daraus ergibt sich ein möglicher Ansatzpunkt, wie man Mädchen dabei unterstützen kann, Probleme zu lösen: Eigentlich sollte während ihrer gesamten Sozialisation darauf geachtet werden, dass Mädchen wie Jungen gleichermaßen zum aktiven Spiel ermutigt und Einschränkungen beim Explorieren ihrer Umwelt reduziert werden. Dabei sind nicht nur die Eltern sondern auch Erzieher:innen, Lehrkräfte, Peers, Medien sowie soziale und kulturelle Einrichtungen gefragt.

In einem anderen Projekt, „MultiTex“, haben wir uns speziell mit der Frage befasst, wie anhand von Prozessdaten ermittelt werden kann, ob und in welcher Weise Studierende beim Lesen unterschiedlicher Texte Quellenangaben berücksichtigen, das sogenannte Sourcing. Gerade im Kontext von Online-Informationen ist es wichtig, die Herkunft eines Textes zu reflektieren. Das Wissen, wer bspw. die Autor:in oder was die dahinterliegende Intention ist und Ähnliches ist für einen kritischen und mündigen Umgang mit Online-Texten von großer Bedeutung. Die aus dem Projekt gewonnenen Erkenntnisse flossen auch in die folgende Transferstudie ein. In dieser wurde Studierenden basierend auf ausgewerteten Prozessdaten individuelles Feedback zum gezeigten Leseverhalten gegeben. Die Studierenden erhielten zu Beginn ihres Studiums die Möglichkeit, einen Test zu bearbeiten, der Aufschluss darüber gibt, wie es um ihre Kompetenz bestellt ist, die Inhalte verschiedener Dokumente zu einem Thema zu verstehen. Personen, bei denen aufgrund ihres Testbearbeitungsverhaltens Schwächen ausgemacht wurden, hatten die Gelegenheit, ihre Kompetenz mit spezifischem Fördermaterial weiterzuentwickeln.

Vor einigen Monaten hat Mario Piacentini von der OECD hier auf dem Blog von der Einsicht berichtet, dass „nicht alle Kompetenzen mit einem kurzen, standardisierten Test am Computer gut gemessen werden können.“ Die OECD entwickelt deshalb für jeden PISA-Durchgang sogenannte „innovative PISA-Domänen“ samt zugehöriger Aufgabenformate, die nicht nur Aufschluss darüber geben, was die Schüler:innen wissen, sondern auch darüber, wie sie denken und wie sie lernen, und wie ihre Motivation und ihre Gefühle ihr Lernen beeinflussen. An diesem Prozess sind Sie beteiligt – wie genau sieht diese Beteiligung aus?

Als Mitglied der OECD-Expertengruppe zur innovativen Domäne in PISA 2025, „Learning in the Digital World“ (LDW) wirke ich u.a. beratend daran mit, die theoretische Rahmenkonzeption und entsprechende Aufgabenformate zu entwickeln. Mein besonderes Augenmerk gilt der diagnostischen Nutzung von Prozessdaten. Sie sollen im Rahmen einer simulierten interaktiven Lernumgebung mit eingebetteten Aufgaben gesammelt werden.

Als innovative Domäne sollen zwei Kompetenzbereiche erfasst werden, die gerade in digitalen Lernkontexten von Bedeutung sind: Zum einen geht es um die Kompetenz, mit Hilfe digitaler Werkzeuge komplexe Systeme zu modellieren und algorithmische Probleme zu lösen. Dabei durchlaufen die Schüler:innen einen Prozess des selbstgesteuerten Lernens und „lernen“ dabei, wie sie die Aufgaben lösen können.  Zum anderen soll die Fähigkeit der Schüler:innen zur Selbstregulation dieses Lernprozesses erfasst werden. Damit ist gemeint, wie sie diesen Prozess überwachen, steuern und anpassen, worüber wir in (meta-)kognitiver, behavioraler, motivationaler und affektiver Hinsicht mehr erfahren wollen. Dafür brauchen wir Verhaltensdaten aus der Bearbeitung der Aufgaben – und die gewinnen wir, indem den Schüler:innen am Computer in einer simulierten Lernumgebung komplexe Problemstellungen vorgestellt werden. Die Schüler:innen erarbeiten sich dann schrittweise Lösungen – unter  Nutzung der in der Lernumgebung angebotenen Lernaufgaben, Lernmaterialien und Hilfen. Wie sie das bewerkstelligen und wie erfolgreich sie das tun, ist Gegenstand der Messung.

Ein Beispiel: Schüler:innen sollen durch Kombinieren von Befehlen, die als Blöcke zur Auswahl stehen, ein Programm erstellen, um damit eine Spielfigur zu steuern. Die Spielfigur soll etwa dazu gebracht werden, alle Objekte in einem Feld einzusammeln. Dabei können die Schüler:innen ihre programmierte Lösung immer wieder mithilfe einer Testmöglichkeit selbst überprüfen und unter Nutzung von Lernmaterialien weiter verbessern. Wir sammeln die Daten darüber, wie sie zu welchem Zeitpunkt welche Lernmaterialien nutzen und wie sie ihre Lösungen im Laufe der Bearbeitung anpassen – und erhalten darüber Daten zum individuellen, selbstregulierten Lernprozess. Diese Selbstregulation beim Lernen, die üblicherweise per Fragebogen als Selbsteinschätzung erfasst wird, soll also im Rahmen der innovativen Domäne durch den vorgegebenen Lernkontext in Aktion beobachtet und somit anhand von Verhaltensdaten direkt gemessen werden.

Sehr spannend, vielen Dank für diesen Einblick in Ihre Arbeit!