New Article: Studierendenauswahl im Fach Psychologie. Testentwicklung und Validitätsbefunde

Psychologische Rundschau
Reference. Formazin, M., Schroeders, U., Köller, O., Wilhelm, O., & Westmeyer, H. (2011). Studierendenauswahl im Fach Psychologie. Testentwicklung und Validitätsbefunde [Student selection for psychology. Test development and predictive validity]. Psychologische Rundschau, 62, 221–236. doi: 10.1026/0033-3042/a000093

Abstract. Die internationale Forschung im Bereich der Hochschulzulassung zeigt eindrücklich, dass Leistungstests gute Prädiktoren der späteren Studienleistung sind und inkrementelle Validität über Schulnoten hinaus aufweisen. An deutschen Hochschulen ist der Einsatz standardisierter Leistungstests jedoch nach wie vor die Ausnahme. In der vorliegenden Arbeit schildern wir die Entwicklung und Validierung einer Testbatterie für die Zulassung von Psychologiestudierenden an deutschen Hochschulen. Im Rahmen der Testung von 1187 Bewerberinnen und Bewerbern für die Vergabe von 60 Studienplätzen prüfen wir mit Strukturgleichungsmodellen und Regressionsanalysen die prädiktive und inkrementelle Validität der neuen Testbatterie. Neben einem allgemeinen Faktor für das schlussfolgernde Denken kann auf der Prädiktorseite ein zweiter, geschachtelter Faktor für relevantes Vorwissen etabliert werden. Beide latente Faktoren tragen nennenswert zur Vorhersage der Studienleistungen bei. Die Ergebnisse unterstützen nachdrücklich die Forderung bei der Zulassung zu Studiengängen mit hohem Bewerberandrang Leistungstests einzusetzen. Neben schlussfolgerndem Denken verdient das relevante Vorwissen besondere Beachtung.

New Article: Equivalence of reading and listening comprehension across test media

Educational and Psychological Measurement
Reference. Schroeders, U., & Wilhelm, O. (2011). Equivalence of reading and listening comprehension across test media. Educational and Psychological Measurement, 71, 849–869. doi:10.1177/0013164410391468

Abstract. Whether an ability test delivered on either paper or computer provides the same information is an important question in applied psychometrics. Besides the validity, it is also the fairness of a measure that is at stake if the test medium affects performance. This study provides a comprehensive review of existing equivalence research in the field of reading and listening comprehension in English as a foreign language and specifies factors that are likely to have an impact on equivalence. Taking into account these factors, comprehension measures were developed and tested with N = 442 high school students. Using multigroup confirmatory factor analysis, it is shown that reading and listening comprehension both were measurement invariant across test media. Nevertheless, it is argued that equivalence of data gathered on paper and computer depends on the specific measure or construct, the participants or the recruitment mechanisms, and the software and hardware realizations. Therefore, equivalence research is required for specific instantiations unless generalizable knowledge about factors affecting equivalence is available. Multigroup confirmatory factor analysis is an appropriate and effective tool for the assessment of the comparability of test scores across test media.

Google Chart Tools

Visualisierung des Newcomb-Benford-Gesetzes

Visualisierung des Newcomb-Benford-Gesetzes

Mit Google Chart Tools kann man relativ einfach schicke Balken-, Linien-, Torten- und eine Vielzahl anderer Diagramme erstellen (siehe hier für eine Gallerie unterschiedlichen Diagrammtypen). Selbst interaktive Diagramme, die man durch einen Schieberegler in ihrer Skalierung verändern kann, sind möglich.

Google Charts erstellt aus Daten und Formatierungsparametern die per http-request verschickt werden eine png-Datei. Wesentlich übersichtlicher wird die Programmierung, wenn man das ganze in eine Funktion schreibt. Folgender Beispielcode erstellt ein Tortendiagramm, das das Benford’sche Gesetz visualisiert. Eine Anmerkung noch: Der Javascript-Code ist highlighted, nicht der umschließende html-Code. … Weiterlesen

Impact Factor

Der Impact Factor eines Journals gilt als Maßzahl für seine Bedeutsamkeit: Je höher er ausfällt, desto größer das Renomée einer Fachzeitschrift. Für die Verbreitung der Meme in der Wissenschaftsgemeinde ist nicht die Auflage oder der Verteilungsweg entscheidend, sondern die Anzahl der Zitationen. Die Annahme, dass bedeutsame Arbeiten von Kollegen häufiger zitiert werden, und die Summe der Zitationen für ein bestimmtes Journal, den Verbreitungsgrad und so seine Durchschlagskraft messen, scheint naheliegend und die Berechnung gradezu simpel.

Wie berechnet sich der Journal Impact Factor (JIF) einer Zeitschrift?

In der 60er Jahren berechnete das Institute for Scientific Information (ISI), das heute zu Thomson Reuters gehört, erstmalig den JIF. Der Journal Impact Factor ist der Quotient zweier Kennwerte (JIF = A/ B). Ein Berechnungsbeispiel für den Impact Factor eines Journals im Jahre 2011.

  • A = Anzahl Zitationen im Jahre 2011 für alle Paper, die zwischen 2009 und 2010 in einem bestimmten Journal erschienen sind und
  • B = Gesamtzahl aller Beiträge, die im selben Zweijahreszeitraum erschienen sind.

Es ist zu beachten, dass der JIF für 2011 erst 2012 veröffentlicht wird und der aktuelle JIF, der von 2010 ist. Da der JIF in der Regel auf einem drei Jahreszeitraum beruht, schlagen Veränderungen im Editorial Board oder andere strategische Richtungswechsel auch erst mit einer Verzögerung von 2-3 Jahren zu Buche. … Weiterlesen

Zotero – Tipps

Nachdem ich in einem ersten Post das Literaturverwaltungsprogramm Zotero vorgestellt habe, hier drei Tipps, die die Arbeit mit Zotero vereinfachen können:

Tipp 1: DOIs entfernen

Zitationsstile

Zitationsstile

Zotero unterstützt verschiedene Zitationsstile (= Zitierregeln), die der American Medical Assoiciation, diverse Varianten des Chicago Manual of Style, und auch den Zitationsstil der American Psychological Association in der 6. Auflage. Über Actions » Preferences » Cite kann in der Karteikarte Styles der benötigte Stil festlegt werden. Die aktuellste Version solltet ihr vom Zotero Stilverzeichnis herunterladen und dann über den Plus-Button in den Style Manager laden. Das spart ‘ne Menge Zeit… Einige Fehler in der Formatierung, die ich manuell korrigiert hatte, sind mittlerweile ausgebügelt worden. Nach dem Import findet ihr den xml-formatierten Style unter ..Zoterostylesapa.csl.
Seit der 6. Auflage des APA Publication Manuals können Referenzen über ihr DOI, den sog. Digital Object Identifier eindeutig benannt und wiedergefunden werden. DOIs besitzen folgenden Aufbau doi:10.ORGANISATION/ID und sind eigentlich eine praktische Sache. BTW steigern sie auch den Wert eines guten Literaturverwaltungsprogramms, da die kryptischen DOIs sich ohne nur schwer beherrschen lassen.
Offiziell empfiehlt die APA – wo vorhanden – DOIs zu verwenden und der APA Citation Style von Zotero folgt dieser Empfehlung. Aber das neue System hat sich noch nicht bei allen Verlagen durchgesetzt. Um nun beide Varianten (ohne Löschen von Informationen) bedienen zu können, reicht es, die entsprechenden Zeilen des csl-Files

		  <if variable="DOI">
			<text variable="DOI" prefix="doi:"/>
		  </if>

auszukommentieren

		  <!-- <if variable="DOI">
			<text variable="DOI" prefix="doi:"/>
		   -->

… Weiterlesen

Zotero – Meistere das Literaturchaos

Zotero ist ein quelloffenes Literaturverwaltungsprogramm, das vom Center for History and New Media der George Mason University (GMU) entwickelt wurde. Das Wort “Zotero” stammt aus dem Albanisch und bedeutet so viel wie “beherrschen”, “sich etw. aneignen” oder “sehr gut lernen”. Genauso wie Ubuntu oder wikipedia wurde der Name aus einer exotischen Sprache entnommen, um so Namensrechtverletzungen vorzubeugen (die gesamte etymologische Geschichte findet sich hier). Im Gegensatz zu anderen Programmen, die viel versprechen und wenig halten (z.B. Quicktime oder Moviemaker), “beherrscht” Zotero wirklich die unübersichtlichste Literatursammlung. :-)

Eigentlich ist Zotero als Firefox plugin konzipiert. Aber weil ich nicht wegen eines Referenzmanagers den Browser wechseln wollte, benutze ich die standalone version, die sich im alpha-Stadium befindet, aber bisher noch nie ihren Dienst versagt hat.

Registriere dich auf zotero.org

Registriere dich auf zotero.org

Man kann sich auf zotero.org registrieren, was schnell und unkompliziert abläuft. Die Registrierung hat den Vorteil, dass man seine gesamte Bibliothek online synchronisieren kann. Dazu trägt man den gewählten Benutzernamen und das Passwort unter Actions (= Symbol mit dem kleinen Zahnrad) » Preferences » Sync ein. 100 MB Online-Speicher sind gratis und weil die schnell voll sind kann auch Speicher dazugekauft werden: 1 GB kostet bspw. im Jahr $20 und 5 GB $60 (Stand: August 2011). Wenn man nur die Referenzen (ohne pdf-Files) von überall im Zugrifft haben möchte und auf den Online-Speicher verzichtet, sollte die Option “Sync attachment files…” nicht markiert sein. … Weiterlesen