Analyse

Lernprozesse evaluieren

Das Lernen im LMS sichtbar machen

Sind die Kriterien passend definiert worden und im LMSA Kit alle Daten der Studierenden eingepflegt, kann mit der Evaluation der individuellen Lernprozesse begonnen werden. Es stehen verschiedene Möglichkeiten zur Analyse der Leistung der Studiernden zur Verfügung. Neben klassischen statistischen Verfahren können auch selbst-lernende Algorithmen zur Leistungsbewertung und Instrumenteneichung genutzt werden.

Der Kanon an Auswertungs- und Analyseverfahren ist jedoch nicht abgeschlossen. Er wird fortwährend weiterentwickelt und ergänzt. Entsprechende Anmerkungen und Wünsche können an die Entwickler herangetragen werden. Eigenständige Weiterentwicklungen sind ebenfalls möglich. Das offene Plugin-System erlaubt jedem Programmierer eigene Erweiterungen zu entwickeln und zu implementieren.

Ergebnisse von Analysen werden innerhalb des LMSA Kits immer in Berichtform generiert. Diese Berichte werden als neue Registerkarte hinter den Hauptregisterkarten angefügt. Ist ein solcher Bericht geöffnet, zeigt das adaptive Hauptmenü oben in der Menüleiste einen Menüpunkt "Bericht". Dieses Menü zeigt je nach Berichtart, verschieden Einstellungsmöglichkeiten an. Unter anderem kann der Bericht geschlossen werden, um die Anzahl der offenen Reiter zu reduzieren.

Statistische Auswertungen

Alle Analyseverfahren zur Evaluation der individuellen Lernprozesse werden im Hauptmenü unter der gleichen Rubrik zusammengefasst. Ist die die Registerkarte Kriterien sichtbar, so blendet das adaptive Hauptmenü den Menüpunkt Kriterien ein. Hinter dem ersten Eintrag verbergen sich alle Analysewerkzeuge, mit denen die individuellen Lernprozesse im LMS evaluiert werden können. Im zweiten Eintrag befinden sich hingegen alle Analysewerkzeuge, mit denen die Zusammenstellung der Aufgaben zu einem Kriterium überprüft und verbessert werden kann (Mehr dazu unter Kriterien/Güte).

Einzelwerte in den Aufgaben

Eine der einfacheren statistischen Auswertungen ist eine Gegenüberstellung der gezeigten Leistung in den einzelnen Aufgaben eines Kriteriums. Die Analysefunktion gibt es in zwei Varianten. Die erste erstellt einen Bericht, in dem für jeden Lernenden im Datensatz die Punktzahl in den einzelnen Aufgaben dargestellt wird.

In der zweiten Version werden die Daten im Bericht noch studentisiert. D.h. die Daten werden so transformiert, das sie einer z-Verteilung angehören. Hierzu wird der jeweilige Aufgabenmittelwert von der erreichten Punktzahl abgezogen und durch die Standardabweichung dividiert. Die Aufgaben können so leichter verglichen werden. Ein Lernender mit einem Wert von 0 zeigt, anschaulich gesprochen, eine durchschnittliche Leistung innerhalb dieser Aufgabe, während ein Lernender mit einem Wert von -1 eine Standardabweichung schlechter als der Durchschnitt in dieser Aufgabe abschneidet.

Die einfachen statistischen Auswertungen verschaffen Lehrenden einen schnellen, anschaulichen Überblick über die Lernprozesse bezüglich eines Kriteriums. Insbesondere die Leistungen der einzelnen Lernenden innerhalb des Kriteriums kann so näher betrachtet werden. Der indviduelle Lernbedarf eines Lernenden kann so genauer ermittelt werden. Es zeigt sich sehr offensichtlich, welche Aufgaben gut beherrscht werden und wo noch Schwierigkeiten vorhanden sind.

Selbst-Lernende Algorithmen

Der Einblick in die Lernprozesse, den die einfachen statistischen Auswertungen bieten, kann an vielen Stellen nicht ausreichend sein:

• In einer großen Lerngruppe können Lernende mit besonderem Bedarf nicht gezielt in einer solchen Tabelle identifiziert werden.
• Oftmals befinden sich die Aufgaben innerhalb eines Kriteriums an verschiedenen Zeitpunkten des elektronischen Lernangebots, sodass bereits Lernprozesse in diesen Daten dokumentiert sind. Dieser Lernprozess wird bei einer einfachen statistischen Betrachtung nicht ersichtlich, er verzerrt sie unter Umständen sogar. So sind Schwierigkeiten zu Beginn eines Lernprozesses normal, sollten aber am Ende einer Einheit nicht mehr vorliegen.
• Aufgaben sind nicht identischt. Auch wenn alle Aufgaben innerhalb eines Kriteriums zusammengehören, so messen sie nicht alle gleich. Aufgaben haben unterschiedliche Anforderungsniveaus, die mit berücksichtig werden müssen.

Um den Besonderheiten von verschiedenen Aufgaben und Lernenden gerecht zu werden, wurden verschiedene Konzepte entwickelt. Eines der bekanntesten ist das Rasch-Modell. Diese Modelle lassen sich aber auf die unstrukturiert erhobenen Daten aus einem LMS nicht anwenden.

Das LMSA Kit umgeht dieses Problem mit Matchmaking-Algorithmen. Diese Algorithmen werden eigentlich dazu verwendet, die Fähigkeit eines Spielers einzuschätzen, um möglichst ebenbürtige Gegener in Duellen zusammenzustellen. Diese Verfahren lernen mit jedem neuen Ergebnis und werden dadurch genauer. Sie lassen sich für die pädagogische Diagnostik zweckentfremden, indem hier Lernende "Duelle" gegen die einzelnen Aufgaben austragen. So lassen sich für die Aufgaben Schwierigkeitswerte ermitteln und für Lernende ihre Fähigkeitswerte. Die formalen Anforderungen an das Datenmaterial sind deutlich geringer als für Rasch-Modellierungen.

Matchmaking-Algorithmen

Nachdem das gewünschte Kriterium ausgewählt wurde, wird oben in der Menüleiste die Funktion Berechne Matching Scores ausgewählt. Es öffnet sich ein neues Dialogfenster, in dem die einzelnen Algorithmen für die weitere Analyse ausgewählt und bei Bedarf konfiguriert werden können. Verschiedene vorkonfigurierte Algorithmen, die sich mit dieser Konfiguration in der Evaluation der Software bewährt haben, können über die Schnelleinfügen-Leiste oben im Fenster leicht angelegt werden. Im Bereich darunter können die Parameter der Alorithmen abgewandelt werden. Ein Klick auf Berechnen! startet die Auswertung. Das Ergebnis wird anschließend als neuer Bericht präsentiert.

Auf die einzelnen Algorithmen und deren genaue Konfiguration kann hier nicht ausführlich eingegangen werden. Eine genauere Ausführung hierzu befindet sich in der Unterrubrik Matchmaking Algorithmen.

Im oberen Bereich des Berichts stehen die Schwierigkeitswerte der einzelnen Aufgaben des Kriteriums. Unterhalb der Leerzeile stehen die Fähigkeitswerte der einzelnen Lernenden. Diese Daten können im LMSA Kit auch zur automatischen Generierung von Feedback genutzt werden, um Lernende ebenfalls an den Informationen des LMSA Kits partizipieren zu lassen.