Kriterien: Güte

Kriterien optimieren

Nicht jede Zusammenstellung von Aufgaben ist für eine Prognose einer Lernentwicklung innerhalb eines LMS geeignet. Selbst bei einer noch pädagogisch und didaktisch durchdachten Zusammenstellug von Aufgaben, können manche Zusammenstellung eine Lernentwicklung nur unzutreffend abbilden. Es gibt viele Ursachen für eine schlechte Eignung eines Kriteriums für eine Prognose: Die Kompetenz hinter dem Kriterium bestitzt eine verborgene Schichtstruktur, die die Auflösung verzerrt; das Lernziel ist zu komplex und vielschichtig für eine Analyse; oder die thematische Zusammenstellung spricht zu viele unterschiedliche Aspekte an. Teilweise können auch einzelne Aufgaben einfach unpassend zur restlichen Zusammenstellung sein. Deshalb muss nach dem ersten definieren der Kriterien immer eine Evaluationsphase nachgeschaltet sein, in der die Güte der Zusammenstellung überprüft wird und gegebenenfalls Anpassungen vorgenommen werden.

Die Bearbeitungsfunktionen innerhalb des Reiters Kriterien bietet verschiedene Funktionen hierzu an. Wird der Reiter Kriterien aufgerufen, erscheinen im adaptiven Hauptmenü die entsprechende Funktionen.

Screenshot: Kreuztabellen Menü

Das zu überprüfende Kriterium muss markiert werden, dazu muss einfach auf das entsprechende Kriterium geklickt werden, sodass es komplett blau hinterlegt ist. Anschließend kann im Menü Kriterien im Unterpunkt Analyse->Güte mit verschiedenen Werkzeugen die Güte untersucht und verbessert werden.

Kreuztabellen

Die Funktion Kreuztabellen generiert eine Kreuztabelle mit allen Aufgaben des Kriteriums. Wird die Analysemethode Kreuztabelle ausgewählt, dann erscheint das Ergebnis in einem neuen Reiter in Form eines Berichts. Dabei werden in einer Tabelle die Zusammenhänge zwischen den einzelnen Aufgaben paarweise zueinander dargestellt.

Screenshot: Kreuztabelle

Das LMSA Kit kann verschiedene Zusammenhangsmaße für die Kreuztabelle verwenden:

  • Quadranten Korrelation
  • Spearmans Korrelationskoeffizient
  • Pearsons Produkt Moment
  • Kovarianz

Ist ein Bericht mit einer Kreuztabelle geöffnet, kann über das Bericht-Menü zwischen den verschiedenen Koffezienten gewechselt werden.

CronbachsAlpha

Cronbach's Alpha

Der oberste Eintrag des Berichtmenüs wechselt nicht das Zusammenhangmaß der Kreuztabelle, es öffnet statt dessen ein Dialogfenster, in dem der geschätzte Wert der Inneren Konsistenz (Cronbach's Alpha) zu sehen ist. Grundlage sind die Kreuztabellen mit Pearson bzw. Spearmans Korrelationskoeffizienten.

Screenshot: Cronbach's Alpha

 

Beta: Automatische Kriterien Optimierung

Als neueste Funktion wird eine automatische Optimierung der Kriterien entwickelt. Sie soll Lehrenden durch den Evaluierungsprozess der definierten Kriterien begleiten und konstruktive Verbesserungsvorschläge anbieten. Lehrende erfahren so eine aktivere Unterstützung in der Entwicklungsphase der Lernprozess-Evaluation. Gleichzeitig lässt sich der Zeitaufwand für das Entwickeln der Kriterien reduzieren. Ein erste Testversion dieser Funktion wird in einer der nächsten Versionen des LMSA Kits mit implementiert sein.

Criterion Wizzard