twitter email
Forschung

Technologiebasierte Kompetenzdiagnostik

technologieDurch die Digitalisierung von Lehrinhalten, den Einbezug des Computers in Lernprozesse und die Vernetzung von Personen und Wissensbeständen durch das Internet hat sich die Art, in der wir Informationen sammeln, verarbeiten und bewerten, in den letzten Jahrzehnten grundlegend geändert. In Klassenzimmern kommen vermehrt Tablet-Computer oder Notebooks zum Einsatz und das Internet ist gegenüber traditionellen Informationsquellen wie einem Lehrbuch ansprechender, vielseitiger und häufig zugänglicher. In der technologiebasierten Kompetenzdiagnostik lassen sich zwei Forschungsstränge voneinander abgrenzen: Zum einen wird versucht, bereits bestehende Messinstrumente möglichst unverändert auf elektronische Medien zu übertragen, um eine Testung zu realisieren, die mit der herkömmlichen Methode vergleichbar ist. Zum anderen wird angestrebt, durch interaktive Aufgaben oder die Verwendung von Videos die Kompetenzmessung effizienter zu gestalten oder inhaltlich anzureichern. An dieser groben Zweiteilung des Forschungsfelds – der Vergleichbarkeit von Testleistungen und der Anreicherung der Messung – orientiert sich auch meine Forschung in dem Bereich. Beispielsweise versuchen Kollegen und ich mit Hilfe einer Smartphone-App grundlegende Fragen zum deklarativen Wissen zu beantworten: Wie viele Dimensionen des Wissens müssen unterschieden werden (z.B. Geistes- vs. Naturwissenschaften)? Differenziert das Wissen mit dem Alter? Ist es möglich, das Schummeln anhand von zusätzlich bei technologiebasierten Messungen wie Reaktionszeiten und dem Tab-Wechsel im Browser vorherzusagen?

Auswahl relevanter Publikationen

  • Steger, D., Schroeders, U., & Wilhelm, O. (2019). On the dimensionality of crystallized intelligence: A smartphone-based assessment. Intelligence, 72, 76–85. https://doi.org/10.1016/j.intell.2018.12.002
  • Steger, D., Schroeders, U., & Gnambs, T. (in press). A meta-analysis of test scores in proctored and unproctored ability assessment. European Journal of Psychological Assessment. https://doi.org/10.1027/1015-5759/a000494
  • Moehring, A., Schroeders, U., Leichtmann, B., & Wilhelm, O. (2016). Ecological momentary assessment of digital literacy: Influence of fluid and crystallized intelligence, domain-specific knowledge, and computer usage. Intelligence, 59, 170–180. https://doi.org/10.1016/j.intell.2016.10.003
  • Schroeders, U., Bucholtz, N., Formazin, M., & Wilhelm, O. (2013). Modality specificity of comprehension abilities in the sciences. European Journal of Psychological Assessment, 29, 3–11. https://doi.org/10.1027/1015-5759/a000114

Messung kognitiver Leistungen und schulischer Kompetenzen

strukturZur Beschreibung und Vorhersage schulischer Kompetenzen und allgemein kognitiver Leistungen sind neben guten Theorien auch effiziente und aussagekräftige Messinstrumente zur Erfassung notwendig. Zusammen mit Kollegen habe ich zum Beispiel TeDDy-PC, einen computergestützten Test zur Diagnose von Dyskalkulie in der Grundschule, oder BEFKI, den Berliner Test zur Erfassung fluider und kristalliner Intelligenzleistungen in der Sekundarschulzeit, entwickelt. Obwohl die Messinstrumente inhaltlich sehr verschiedene Kompetenzen zu unterschiedlichen Zeiten in der Bildungsbiographie erfassen, ist die methodische Herangehensweise ähnlich: Nach einer theoriebasierten Definition und Operationalisierung des Konstrukts folgt ein mehrstufiger Aufgabenkonstruktions- und empiriegestützter Revisionsprozess, der zum Ziel hat, psychometrisch gute Messinstrumente zu generieren. Nur so können Variablen identifiziert werden, die Lernleistungen beeinflussen und moderieren. Zum Beispiel sind wir im Ländervergleich 2012 in Mathematik und den Naturwissenschaften der Frage nachgegangen, welchen Einfluss die Unterrichtszeit auf die naturwissenschaftlichen Kompetenzen ausübt, und zwar unter Berücksichtigung von Schülermerkmalen (Sozioökonomischer Status, Migrationshintergrund, etc.) und Schulformunterschieden (Gymnasium vs. nicht-gymnasiale Schularten). Unsere Analysen zeigen, dass ein bloßes Mehr an Unterrichtszeit nicht mit besseren naturwissenschaftlichen Leistungen einhergeht.

Auswahl relevanter Publikationen

  • Schroeders, U., Schipolowski, S., Zettler, I., Golle, J., & Wilhelm, O. (2016). Do the smart get smarter? Development of fluid and crystallized intelligence in 3rd Grade. Intelligence, 59, 84-95. https://dx.doi.org/10.1016/j.intell.2016.08.003/
  • Schroeders, U., Schipolowski, S., & Wilhelm, O. (2015). Age-related changes in the mean and covariance structure of fluid and crystallized intelligence in childhood and adolescence. Intelligence, 48, 15–29. https://doi.org/10.1016/j.intell.2014.10.006
  • Wilhelm, O., Schroeders, U., & Schipolowski, S. (2014). Berliner Test zur Erfassung fluider und kristalliner Intelligenz für die 8. bis 10. Jahrgangsstufe [Berlin Test of fluid and crystallized intelligence for grades 8-10]. Göttingen: Hogrefe.
  • Schroeders, U., Siegle, T., Weirich, S., & Pant, H. A. (2013). Der Einfluss von Kontext-und Schülermerkmalen auf die naturwissenschaftlichen Kompetenzen. In H. A. Pant, P. Stanat, U. Schroeders, A. Roppelt, T. Siegle, & C. Pöhlmann (Eds.), IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I (pp. 331–346). Münster: Waxmann.

Psychometrie

psychometrieEmpirische Bildungs- und Survey-Forschung bieten aus methodischer und diagnostischer Sicht besondere Herausforderungen. Aus methodischer Perspektive erfordern komplexe Multi-Matrix-Testdesigns, hierarchische Datenstrukturen und fehlende Datenpunkte ein teilweise eigenes Instrumentarium, um die Validität der Befunde und die Vergleichbarkeit von Leistungen auf verschiedenen Aggregationsebenen sicherzustellen. In aktuellen Publikationen beschäftige ich mich deshalb mit solchen stärker psychometrischen Fragestellungen. Ein Beispiel ist die Anwendung lokal gewichteter Strukturgleichungsmodelle, einer neuen Methode zur Modellierung von Kovarianzstrukturen in Abhängigkeit einer kontinuierlichen Kontextvariablen. Damit lassen sich beispielsweise Leistungsentwicklungen besonders effizient beschreiben, weil Alter als kontinuierliche Variable behandelt werden kann, ohne künstliche Kategorisierung in Altersgruppen. Ein anderes Beispiel ist die Entwicklung von psychometrisch guten und effizienten Kurzskalen, die insbesondere im Large-Scale-Assessment benötigt werden. So haben wir die Qualität und Effizienz verschiedener Strategien zur Erstellung von Kurzskalen miteinander verglichen und gezeigt, dass sog. Meta-Heuristiken traditionellen Verfahren der Itemselektion überlegen sind. Zu solchen Meta-Heuristiken gehören beispielsweise Ameisenstaatenalgorithmen, die das Nahrungssuchverhalten von Ameisen nachbilden und wegen ihrer Flexibilität auch in psychologischen Kontexten eingesetzt werden können.

Auswahl relevanter Publikationen

  • Olaru, G., Schroeders, U., Hartung, J., & Wilhelm, O. (2019). Ant colony optimization and local weighted structural equation modeling. A tutorial on novel item and person sampling procedures for personality research. European Journal of Personality, 33, 400-419. https://doi.org/10.1002/per.2195
  • Olaru, G., Schroeders, U., Wilhelm, O., & Ostendorf, F. (2018). A confirmatory examination of age-associated personality differences: Deriving age-related measurement invariant solutions using Ant Colony Optimization. Journal of Personality, 86, 1037–1049. https://doi.org/10.1111/jopy.12373
  • Schroeders, U., Wilhelm, O., & Olaru, G. (2016). Meta-heuristics in short scale construction: Ant Colony Optimization and Genetic Algorithm. PLOS ONE, 11: e0167110. https://doi.org/10.1371/journal.pone.0167110
  • Schroeders, U., Wilhelm, O., & Olaru, G. (2016). The influence of item sampling on sex differences in knowledge tests. Intelligence, 58, 22–32. https://doi.org/10.1016/j.intell.2016.06.003
  • Schroeders, U., Schipolowski, S., & Wilhelm, O. (2015). Age-related changes in the mean and covariance structure of fluid and crystallized intelligence in childhood and adolescence. Intelligence, 48, 15–29. https://doi.org/10.1016/j.intell.2014.10.006