Beurteilerübereinstimmung

[engl. interrater agreement], [DIA, FSE], Ausmaß, in dem unabhängige Beurteiler Objekte hinsichtlich der Ausprägung eines definierten Merkmals identisch einschätzen. Methoden zur Bestimmung der Beurteilerübereinstimmung werden eingesetzt, um die Messqualität von Merkmalseinschätzungen durch Experten oder andere unabhängige Beurteiler zu überprüfen (Gütekriterien, Messtheorie). Die Beurteilungen sollen möglichst unabhängig von der indiv. Perspektive des jew. Beurteilers sein, da das diagn. Ergebnis i. Allg. ausschließlich als Indikator der Merkmalsausprägung der eingeschätzten Person interpretiert wird. Im Idealfall sollten die Beurteiler austauschbar sein, andernfalls ist die Interpretation des Beurteilungsergebnisses nicht zulässig ohne die Besonderheiten des Beurteilers mit zu berücksichtigen. Die Beurteilung von Schülern durch Lehrer oder die Diagnosestellung für Pat. durch einen Arzt sind typische Situationen, in denen diese Forderungen als grundlegende Voraussetzung für valide (Validität) und faire (Testfairness) Einschätzungen erfüllt sein sollten. Die Wahl des adäquaten Maßes zur Quantifizierung der Beurteilerübereinstimmung ist wesentlich durch die Skalierung des Erhebungsinstrumentes festgelegt. Zumeist werden folg. Skalierungen verwendet: (1) dichotome Skala (z. B. «Liegt ein best. Merkmal vor oder nicht?» Ja- vs. Nein-Urteil), (2) mehrstufige nominalskalierte Skala (z. B. «Welche von mehreren Alternativen trifft zu?») oder (3) Ratingskala (z. B. in welcher Intensität ist ein Merkmal ausgeprägt, z. B. «–2 = trifft überhaupt nicht zu» bis «+2 = trifft ganz genau zu»). Die wichtigsten Maße der Beurteilerübereinstimmung sind in der beigefügten Tab. dargestellt. Mangelnde Beurteilerübereinstimmung kann durch eine Vielzahl systematischer Beobachtungsfehler bedingt sein. Diese können v. a. daraus resultieren, dass die Kategorien eines Erhebungsinstrumentes von den Beurteilern unterschiedlich verstanden und verwendet werden oder weil Wahrnehmungs- oder Interpretationsfehler der Beurteiler die Informationen verfälschen. Beobachtung, Beurteilertraining.