Evaluation komplexer Interventionen

 

[engl. evaluation of complex interventions], [FSE], zur Evaluation komplexer Interventionen bedarf es bes. Standards, da bei komplexen Interventionen wesentliche Elemente im Evaluationsverlauf konzipiert, formativ optimiert (Evaluation, formative) und an den spezif. Anwendungskontext adaptiert werden müssen. Zudem muss eine begründete Aussage über den Gesamteffekt und -nutzen der evaluierten Intervention erfolgen (Evaluation, summative). Das Evaluationsmodell von Campbell et al. (2000, 2007) bietet hierfür eine ideale Grundlage, da alle Einzeltätigkeiten vor dem Hintergrund einer umfassenden Rahmenvorstellung begründet, beurteilt und aufeinander abgestimmt werden können. Dieses Modell basiert auf dem Konzept des PDCA-Zyklus, der Integration vielfältiger Methoden (insbes. qual. und quant. Methoden) sowie theoriegeneriender (Induktion), theorieprüfender (Deduktion) und nutzenorientierter Prinzipien. Es formuliert die Notwendigkeit einer umfassenden Theorie des E.gegenstands, der Identifikation praxisgerechter Handlungsoptionen, der Prüfung der Wirksamkeit sowie der optimalen Intervention der evaluierten Maßnahme als zentrale Ziele einer Evaluation komplexer Interventionen. Um diesen vielfältigen Ansprüchen gerecht zu werden, wird der Evaluationsprozess in fünf sukzessiv zu durchlaufende Phasen eingeteilt.

Vorklinische Phase: Es werden Informationen dazu identifiziert, welche (Teil-)Maßnahmen nach dem vorliegenden Kenntnisstand zu einer Verbesserung des Ist-Zustands beitragen können. Systematische Literaturrecherchen und Experten-Befragungen (z. B. Delphi-Technik) werden typischerweise zur Sichtung theoretischer Grundlagen und empirischer Erkenntnisse eingesetzt.

Phase I Definition der Interventionskomponenten (Modellierung): In dieser Phase wird das Theorie- und Praxisverständnis empirisch fokussiert. Aufbauend auf den vorliegenden Erkenntnissen werden isolierbare Prozesselemente und Wirkzusammenhänge identifiziert und – wenn möglich – empirisch untersucht. Durch die strukturierte Beobachtung von Zusammenhängen und Abläufen in der Praxis und die Analyse von Effekten nach der Umsetzung von Einzelmaßnahmen werden Erkenntnisse zu relevanten Wirkprozessen identifiziert, erweitert oder spezifiziert. Zudem sind Aspekte der praktischen Umsetzbarkeit (z. B. Barrieren bei der Umsetzung von Interventionselementen, notwendige Ressourcen zur adäquaten Umsetzung) Gegenstand der Evaluation.

Phase II Definition des Versuchsplans und des Interventionsdesigns (exploratorische Studien): Die als wirksam identifizierten oder angenommenen Einzelmaßnahmen werden zu einer komplexen, praktisch umsetzbaren Gesamtintervention integriert. Zentral sind hierbei Fragen nach der bestmöglichen Konzeption der komplexen Intervention (Integration von Einzelkomponenten, Dauer und Intensität), der Implementierbarkeit der Intervention und des Studiendesigns (ggf. Machbarkeitsstudien) und der Akzeptanz der Intervention durch Anwender (z. B. Lehrkräfte, Therapeuten; ggf. Aufklärungs- und Schulungsbedarf) und Adressaten (z. B. Schüler, Pat.). Des Weiteren muss geklärt werden, wie eine adäquate Kontrollbehandlung gestaltet sein sollte und die Datenerhebung erfolgen kann (z. B. Entwicklung und Pilotierung von validen Outcome-Maßen).

Phase III Methodologische Aspekte der Hauptstudie (kontrollierte (randomisierte) Studie): In dieser Phase wird die Wirksamkeit (Efficacy) der komplexen Intervention geprüft. Dies sollte möglichst durch eine exp. Studie (randomisierte kontrollierte Studie) erfolgen, damit eine hohe interne Validität gewährleistet wird und der Effekt der Intervention begründet geschätzt werden kann. Die Standards kontrollierter Studien (insbes. transparente Dokumentation, die eine Replikation ermöglicht, standardisierter und validierter Assessmentverfahren, adäquate stat. Datenanalyse, Kalkulation optimaler Stichprobenumfänge, adäquate Hypothesenprüfung und Effektstärkenstimmung) sind in dieser Phase zu berücksichtigen (CONSORT statement).

Phase IV Langzeit-Implementation: Nachdem in Phase III die Wirksamkeit der komplexen Intervention geprüft wurde, werden langfristige Interventionseffekte und Möglichkeiten der optimalen Implementation in der Praxis wiss. untersucht. Natürliche Rahmenbedingungen (z. B. Qualitätsunterschiede bei der Programmdurchführung durch unterschiedliche Leistungserbringer oder aufgrund von variierender Akzeptanz und Compliance) werden hinsichtlich ihrer Bedeutung für die Umsetzbarkeit und die Wirksamkeit analysiert. Es werden Interventions-Möglichkeiten zur Behebung von Implementationsbarrieren identifiziert und evaluiert.

Die Evaluation komplexer Interventionen ist nach Durchlaufen dieser Phasen nicht als abgeschlossen anzusehen: Vielmehr ist ein kontinuierliches, zyklisches Durchlaufen der fünf Modellphasen (i. S. eines übergreifenden PDCA-Zyklus) notwendig, um langfristig ein qual. hochwertiges, praxisgerechtes und wirksames Interventionskonzept zur Verfügung stellen zu können. Zur Erreichung der vielfältigen Evaluationsziele ist die kompetente und optimale Auswahl von Forschungsmethoden aus einem umfassenden Repertoire, das qual. und quant. Verfahren beinhaltet, entscheidend, um die Potenziale angemessen auszuschöpfen. Evaluation, Kirkpatrik-Modell.

Referenzen und vertiefende Literatur

Sie sind schon registriert? Zur Anmeldung
Erstellen Sie einen Account um das komplette Literaturverzeichnis einzusehen.