Beurteilertraining

 

(= B.t.) [engl. rater training], [DIA, FSE], Maßnahme zur sytematischen Verbesserung der Einschätzgüte bei einer Beurteilung (= B.) oder Beobachtung. Ein B.t. sollte zur Sicherstellung der Beurteilerübereinstimmung (B.ü.) vor einer Beobachtung durchgeführt werden. Zunächst werden die Beurteiler an repräsentativem Übungsmaterial geschult. Hierbei wird die B.aufgabe von den Beurteilern zu Beginn einzeln durchgeführt. Anschließend werden identifizierte B.probleme gemeinsam diskutiert und ggf. Modifikationen im B.verhalten konsensuell vereinbart. Am Ende dieser Trainingsphase werden Maße der B.ü. auf Basis von unabhängigen B. an Trainingsmaterial ermittelt. Indizieren diese Maße eine zufriedenstellende B.ü., so kann die B.aufgabe am Untersuchungsmaterial ausgeführt werden. Zur Bestimmung der Maße der B.ü. ist es notwendig, dass jeder Fall von mind. zwei Beurteilern eingeschätzt wird. Nach Sicherstellung der B.ü. kann die B. dann jew. durch einen der geschulten Beurteiler erfolgen. Im Falle unzufriedenstellender Übereinstimmung wird das B.t. solange fortgesetzt und sukzessive geprüft, bis eine hinreichende B.ü. gewährleistet werden kann.

Zur Verbesserung der B.ü. können folg. Maßnahmen eingesetzt werden: (1) Feedback der Urteile anderer Rater; (2) Befragung der Rater, was sie als schwierig empfunden haben; (3) Diskussion von Fällen, bei denen extrem ungleiche Urteile abgegeben wurden bzw. bei denen Konsens bestand; (4) Angleichung des Informations- und Wissenshintergrunds von Ratern; (5) Explikation und Angleichung der impliziten Konstrukte (z. B. «Was bedeutet Mitarbeit im Unterricht?»: Werden Wortmeldungen oder konzentriertes Arbeiten stärker gewichtet?); (6) Untergliederung des Merkmals in Subkomponenten (z. B. statt Mitarbeit werden die Subkomponenten Wortmeldungen und konzentriertes Arbeiten beurteilt; (7) Identifikation von Objektmerkmalen, die kritisch für die Homogenität der Urteile sind (z. B. Hyperaktivität von Schülern); (8) Allgemeine Antworttendenzen (Beobachtungsfehler, response-set) identifizieren und korrigieren; (9) Vereinfachung der beteiligten Informationsverarbeitungsprozesse (z. B. Vereinfachung durch verhaltensverankerte Skalen); (10) Veränderung der Skalenbeschreibung; (11) in Ausnahmefällen: Ausschluss von Beurteilern oder schwierig zu beurteilenden Objekten. In wiss. Beobachtungsstudien kann die B.ü. darüber hinaus optimiert werden, indem nicht ein, sondern mehrere Beurteiler jedes Objekt einschätzen (Verwendung von Mittelwerten oder konsensuellen Werten) oder die Merkmalsvarianz in der Stichprobe erhöht wird.

Referenzen und vertiefende Literatur

Sie sind schon registriert? Zur Anmeldung
Erstellen Sie einen Account um das komplette Literaturverzeichnis einzusehen.