Rasch-Reliabilität

[engl. Rasch reliability], [DIA], die Reliabilität eines Tests ist neben der Validität das wichtigste Gütekriterium eines Tests. Sie ist als ein Varianzverhältnis definiert, nämlich als Anteil der Varianz der wahren Werte an der Varianz der beobachteten Messwerte. Das Konzept ist i. R. der Klassischen Testtheorie (KTT) definiert worden und wird dort bis heute standardmäßig angewandt. I. R. der Messtheorie von Rasch (Rasch-Modell) wird die Reliabilität selten berechnet und angewendet, obwohl die Voraussetzungen einer Berechnung hier wesentlich günstiger sind. Von den drei beteiligten Varianzanteilen, , der Varianz der beobachteten Meßwerte, die der wahren Werte und die der Fehler, ist in der klassischen Testtheorie nur die erstgenannte, die beobachtete Varianz berechenbar. Zur Schätzung der Fehler- oder der wahren Varianz muss man sich daher des Hilfsmittels der Berechnung von Korrelationen bedienen (Paralleltests, Retest-Methode, Split-Half-Methode), während man im Rasch-Modell alle drei Varianzanteile direkt schätzen kann. Die Varianz der latenten Variable wird von Programmen nach der marginalen Maximum-Likelihood-Methode (MML) als Modellparameter geschätzt und hat vorteilhafte stat. Eigenschaften wie erwartungstreue Schätzungen. Die beobachtete Varianz ist die Varianz der geschätzten Personenparameter, wobei die Schätzung der Personenparameter nicht ganz unproblematisch ist. So ist die bekannteste, die Unconditional-ML-Methode der Parameterschätzung, eine wenig geeignete Methode zur Schätzung der beobachteten Varianz. Sie führt zu einer grob überschätzten beobachteten Varianz. Die nach Warm modifizierte Methode der WLE zeigt dagegen wesentlich bessere und vor allem erwartungstreue Schätzer der Personenparameter. Die Fehlervarianz der Meßwerte kann über die Standardschätzfehler der Personenparameter berechnet werden. Es gibt also mehrere Möglichkeiten, die Reliabilität eines Tests mit den Mitteln der Rasch-Messtheorie zu berechnen, ja präziser zu berechnen, als es in der KTT möglich ist. Wenn es trotzdem nur wenige Testanalysen gibt, die mit dem Konzept der Reliabilität arbeiten, so liegt das vielleicht an der Annahme, dass der Test in allen Bereichen der latenten Fähigkeit gleich gut misst. Dass dies nicht der Fall ist, erkennt man an der Testinformationsfunktion.