Welche Rolle spielt Messung bei der Replizierbarkeit von empirischen Befunden?

Gefördert von der Deutschen Forschungsgemeinschaft (DFG)

Im ersten Projektteil wurde gefunden, dass Berichte über itembasierte Skalen häufig intransparent und unvollständig sind. Zudem wurde untersucht, wie sich verschiedene Skalenmodifikationen wie das Entfernen von Items auf Replizierbarkeit und Effektheterogenität auswirken. 
Der aktuelle zweite Projektteil verfolgt zwei Ziele: 1) Erhöhung der Transparenz und Verbesserung der Berichte über Messung in Forschungsveröffentlichungen und 2) Bereitstellung praktischer Ratschläge für Replizierende und Metawissenschaftler zum Umgang mit der Heterogenität von Messung über Studien hinweg.

Um das erste Ziel zu erreichen, werden wir die Measures Checkliste entwickeln und evaluieren, die von Autoren verlangt, anzugeben, welche Skala sie verwendet, und ob und in welcher Form sie diese modifiziert haben. Wir werden die Measures Shiny App entwickeln, um das Ausfüllen durch automatisches Auslesen aus dem Manuskripttext zu erleichtern. Die Autoren können dann die Antworten überprüfen, überarbeiten und mit ihrem Manuskript einreichen.

Das zweite Ziel wird a) durch die Entwicklung einer Taxonomie, bestehend aus Modifikationen und ihrer Auswirkungen auf Replikationserfolg und Effektheterogenität, und der Modifications Shiny App erreicht, durch die die Auswirkungen einer bestimmten Modifikation genauer abgeschätzt werden können. B) werden wir untersuchen, inwieweit die Messinvarianz (MI) bei gleicher Skala zwischen Original- und Replikationsstudie oder verschiedenen Replikationsstudien verletzt sein kann, ohne die Replizierbarkeit zu beeinträchtigen. Dafür verwenden wir drei komplementäre Ansätze: eine analytische Untersuchung, die Biases von Effekten bei Verletzungen von MI quantifiziert, eine Simulationsstudie, die dies auf die Schätzung von Faktorwerten ausweitet, und eine empirische Analyse existierender Datensätze. Basierend auf diesen Ergebnissen werden wir ein Tool zur Schätzung der Auswirkungen von MI-Verletzungen auf Replikationserfolg entwickeln.

PIs: Susanne Frick und Eunike Wetzel (RPTU Kaiserslautern-Landau)