Beurteilerakkuratheit

[engl. rater accuracy], [AO, DIA], das Konzept der Beurteilerakkuratheit geht auf Cronbach (Cronbach, Lee Joseph) zurück und meint die Genauigkeit der Beurteilungen, die ein Beurteiler über ein Objekt oder eine Person abgibt. Die Beurteilerakkuratheit wird v. a. in der Forschung zur Personalbeurteilung und zur Effektivität von Beurteilertraining als abhängige Variable (Variable, abhängie) verwendet. Erfasst wird die Beurteilerakkuratheit als Inakkuratheit, indem sie Abweichungen zw. den Beurteilungen und der tatsächlichen Merkmalsausprägung misst. Die Beurteilerakkuratheit ist umso besser, je kleiner diese Abweichungen ausfallen. Die tatsächlichen Merkmalsausprägungen für die Berechnung der Beurteilerakkuratheit werden dabei üblicherweise durch eine Expertengruppe ermittelt. Im Ggs. zu Maßen der Beurteilerübereinstimmung ist sie unabhängig von anderen Beurteilern. Und im Ggs. zu Maßen für Beurteilungs- oder Beobachtungsfehler erfasst sie diese Genauigkeit nicht auf indirektem Weg über Verteilungskennwerte wie Mittelwert (Maße der zentralen Tendenz), Standardabweichung oder Steilheit (Kurtosis).

Wenn ein Beurteiler (z. B. in einem Assessment-Center) mehrere Personen/Objekte (z. B. mehrere Teilnehmer des Assessment-Centers) hinsichtlich mehrerer Beurteilungsdimensionen beurteilt (z. B. Ausdrucksvermögen, analytische Fähigkeiten und Kooperation), können vier weitgehend unabhängige Aspekte der Beurteilerakkuratheit unterschieden werden: (1) Elevation: Ein globaler Indikator, inwieweit ein Beurteiler über alle beurteilten Personen/Objekte und über alle Dimensionen hinweg im Durchschnitt angemessen urteilt oder milder bzw. strenger, als dies angemessen ist (d. h. inwieweit der Beurteiler z. B. alle AC-Teilnehmer generell zu gut oder zu schlecht einschätzt). (2) Differential Elevation: Das Ausmaß, in dem ein Beurteiler einzelne beurteilte Personen/Objekte angemessen beurteilt bzw. zu milde oder zu streng (Milde-Effekt, Beurteilungsfehler). (3) Stereotype Accuracy: Die Akkuratheit, mit der die versch. Beurteilungsdimensionen beurteilt werden. Hohe Abweichungswerte in diesem Maß bedeuten, dass best. Dimensionen insges. milder oder strenger beurteilt werden, als dies angemessen ist (z. B. wenn ein Beurteiler eine einzelne Dimension wie z. B. analytische Fähigkeiten bei allen AC-Teilnehmern bes. kritisch beurteilt). (4) Differential Accuracy: Das Ausmaß, in dem einzelne Personen/Objekte bzgl. einzelner Dimensionen akkurat beurteilt werden, d. h., inwieweit indiv. Leistungs-/Merkmalsprofile korrekt beurteilt werden (inwieweit also z. B. spezif. Stärken und Schwächen der einzelnen AC-Teilnehmer korrekt erkannt werden).