Forschungsmethoden, Statistik, Evaluation
Empirische Forschungsmethoden und Forschungsprozess
Empirische Forschungsmethoden sind wissenschaftstheoretisch begründete Instrumente oder Verfahren, mit deren Hilfe empirische Daten erhoben und analysiert werden, die zur Bearbeitung des jeweiligen Forschungsproblems aussagekräftige Informationen über die psychosoziale Erfahrungswirklichkeit liefern. Forschungsparadigmen bieten einen wissenschaftstheoretisch fundierten Rahmen, Forschungsdesigns definieren den adäquaten Methodeneinsatz zur Beantwortung spezifischer Fragestellungen. Obwohl Forschungsmethoden und Datenauswertungsverfahren auch als eher technische Werkzeuge zur empirischen Datenanalyse fungieren können, ergibt sich ihr hoher Stellenwert in der Psychologie daraus, dass Erkenntnisprozesse, Gütekriterien des Erkenntnisgewinns und deren methodische Umsetzung in empirischen Studien stets eng verzahnt sind: Empirisches Forschen dient in der Regel der Entwicklung, Verbesserung oder Prüfung von Theorien oder Modellen. Theorien und Modelle können als abstrahierte Repräsentationen der psychologischen oder sozialen Realität betrachtet werden, die insbesondere die Beziehungen zwischen zentralen Merkmalen bzw. Wirkprozesse von Inhaltsbereichen formal beschreiben. Vorwiegend induktiv orientierte, Theorie generierende Forschungsprozesse dienen der Identifikation und Systematisierung neuen Wissens und nutzen insbesondere Methoden der qualitativen Sozialforschung. Hierbei erfolgt in der Regel eine flexible Methodenanwendung, die schrittweise auf eine Anreicherung theoretischen Wissens abzielt. Vorwiegend deduktiv orientierte Forschungsprozesse prüfen für konsolidierte Theorien, ob aus ihnen abgeleitete Hypothesen empirische Sachverhalte vorhersagen können (Bewährungsfrage) und damit die Gültigkeit oder Nützlichkeit einer Theorie untermauern (linearer Forschungsprozess). Dabei werden vor allem quantitative Designs und Analyseverfahren eingesetzt. Die empirische Umsetzung eines Forschungsinteresses und die empirischen Ergebnisse sind von zentraler Bedeutung dafür, ob psychologische Theorien, Konzepte oder Maßnahmen als gehaltvoll und nützlich angesehen werden. Im Rahmen des Forschungsprozesses müssen folgende Aspekte berücksichtigt werden: (1) Definition des Forschungsgegenstands, (2) Klärung der theoretischen Grundlagen, (3) Explikation der Fragestellung/Formulierung der Hypothesen, (3) Auswahl/Definition des Forschungsdesigns, (4) Festlegung der Datenerhebungsverfahren, (5) Bestimmung der Stichprobe, (6) Untersuchungsdurchführung, (7) Datenanalyse (in der Regel Hypothesenprüfung) und (8) Theorieorientierte Diskussion der Befunde. Für die psychologische Diagnostik als besonders wichtigem Anwendungsbereich empirischer Forschungsmethoden müssen besondere Standards berücksichtigt werden (s. Gebietsüberblick I.14 Psychologische Diagnostik).
Untersuchungsstichproben
Das Ziel empirischer Studien besteht in der Regel darin, möglichst allgemeingültige Aussagen ableiten zu können (z. B. Therapie X ist bei Störungsform Y wirksam), die unabhängig von der konkreten Untersuchungssituation Geltung beanspruchen können. Elemente einer Untersuchungsstichprobe stehen somit stellvertretend für eine Grundgesamtheit oder Population von Fällen oder Objekten. Damit die Generalisierung von Stichproben- auf Populationsverhältnisse gerechtfertigt werden kann, müssen Stichproben fragestellungsadäquat und begründet gebildet werden. Abweichungen von Merkmalsverteilungen müssen bestmöglich vermieden, dokumentiert und ggf. korrigiert werden. Jede Stichprobe zeichnet sich durch zwei zentrale Merkmale aus: (1) die Stichprobenart, die bezeichnet, nach welchem Auswahlverfahren Fälle aus der Population in die Stichprobe gelangen (z. B. bewusst oder zufällig ausgewählt), und (2) den Stichprobenumfang, der durch die Anzahl der Fälle in der Stichrobe definiert ist.
Operationalisierung/Datenerhebung
Als Operationalisierung bezeichnet man das (Mess-)Verfahren (oder dessen Ergebnis), das eine nicht direkt beobachtbare Variable (z. B. Intelligenz) manifest (z. B. Intelligenztestergebnis) erfassbar macht. Eine Operationalisierung ist notwendig, um aus einer zu prüfenden Hypothese oder Theorie Aussagen über beobachtbare Sachverhalte ableiten zu können. Die forschungsmethodischen Aspekte der Datenerhebung sind stark überlappend mit dem Anwendungsgebiet der Psychologischen Diagnostik. Damit psychologische Merkmale angemessen erhoben werden können, bedarf es einer messtheoretischen Begründung (ggf. Prüfung), der kontrollierten Datenerhebung, der Sicherstellung von Datenqualität sowie der Analyse bzw. Sicherstellung messtheoretischer Gütekriterien (insbesondere Objektivität, Reliabilität, Validität). In der Psychologie werden vorzugsweise etablierte und umfangreich geprüfte Messverfahren eingesetzt.
Untersuchungsdesigns
Untersuchungsdesigns bestimmen wesentlich, welche Schlussfolgerungen aus empirischen Befunden abgeleitet werden dürfen. Das Experiment (syn.: randomisierte kontrollierte Studie) gilt dabei als Königsweg, um kausale Wirkbeziehungen zu identifizieren. Da Forschende im Experimentalsetting potenziell verzerrende Störeinflüsse eliminieren oder kontrollieren und zudem durch eine gezielte Manipulation der vermuteten Einflussvariable(n) eine hohe interne Validität (Effekte in der abhängigen Variablen können eindeutig auf die manipulierte unabhängige Variable zurückgeführt werden) sicherstellen, ist eine hohe Interpretationseindeutigkeit gewährleistet. Weiterhin ist insbesondere die externe Validität von zentraler Bedeutung, die dadurch gewährleistet oder unterstützt werden kann, dass repräsentative Studienanlagen verwendet werden oder Befunde in verschiedenen Populationen oder Kontexten repliziert werden. Je weniger kontrolliert Studien angelegt sind, desto vielfältiger und uneindeutiger sind potenzielle Erklärungsmodelle. Beispielsweise liefern die in der Forschungspraxis häufig zu findenden Querschnitts- oder Korrelationsstudien lediglich Hinweise auf mögliche Wirkbeziehungen, können aber nicht als hinreichende Grundlage für Kausalinterpretationen akzeptiert werden. Die Analyse von Entwicklungen oder zeitabhängigen Veränderungen erfordern immer eine längsschnittliche Studienanlage.
Datenanalyseverfahren
Typischerweise dienen Datenanalyseverfahren folgenden Zielen: (1) Stichprobendarstellung: Berechnung deskriptiver Kennwerte (z. B. Mittelwerte), die Datenverteilungen kompakt zusammenfassen; (2) Deskriptive Quantifizierung (z. B. Effektstärken) von Zusammenhängen zwischen Variablen oder von Gruppenunterschieden; (3) Multivariate Modellierung von Zusammenhängen zwischen Variablen (z. B. Regressionsanalyse, Strukturgleichungsmodelle); (4) Datenstrukturierung: Identifikation von Variablengruppen, die z. B. eine gemeinsame latente Merkmalsdimension repräsentieren (z. B. Faktorenanalyse), oder Aggregation von Personengruppen zur Identifikation typischer Merkmalsprofile (z. B. Latent-Class-Analyse); (5) Abschätzung von Populationsverhältnissen auf Basis von Stichprobendaten (z. B. Konfidenzintervalle); (6) Hypothesenprüfung. Während im Bereich quantitativer Datenanalyse klar explizierte Datenauswertungs- und Dokumentationsstandards existieren, ist die Analyse qualitativer Daten in der Regel besonders durch fragestellungsadaptive und interpretative Prozesse gekennzeichnet.
Forschungsethik
Bezeichnet insbesondere die in der Wissenschaftsgemeinschaft geteilten Werte und Normen richtigen bzw. guten Handelns von Forschenden sowie Maßnahmen ihrer Sicherstellung. Bei der ethischen Bewertung von Handlungen werden einerseits die Motive und Intentionen der Handelnden betrachtet («Ist ihr Tun gut gemeint?» Gesinnungsethik bzw. deontologische Ethik) und andererseits die Folgen der Handlungen («Haben die Handlungen ethisch positive Konsequenzen?» Verantwortungsethik bzw. teleologische Ethik). Zentrale Bereiche: (1) Ethische Verantwortung der Wissenschaft in der Gesellschaft; (2) Ethischer Umgang mit Untersuchungspersonen in empirischen Studien; (3) Ethische Produktion, Veröffentlichung und Verwertung von Forschungsergebnissen.
Evaluation und Qualitätsmanagement
Während Forschungsmethoden und Statistik den psychologischen Grundlagendisziplinen zugeordnet sind, sind Merkmale der Evaluation als Anwendungsdisziplin wesentlich durch den jeweiligen Anwendungskontext determiniert. Evaluation oder Evaluationsforschung bezeichnet die systematische Untersuchung von Evaluationsgegenständen mittels sozialwissenschaftlicher Methoden mit dem Ziel der Bewertung. In der Evaluation werden Maßnahmen oder soziale Interventionsprogramme hinsichtlich aller bedeutsamen Auswirkungen auf unterschiedliche Betroffenengruppen in natürlichen Settings empirisch untersucht. Dabei können unterschiedliche Ziele verfolgt werden: (1) Erkenntnisfunktion: Generierung von Wissen über Eigenschaften und Wirkungen von Maßnahmen; (2) Optimierungsfunktion: Verbesserung der Maßnahmenkonzeption; (3) Kontrollfunktion: Analyse der Effektivität und Effizienz; (4) Entscheidungsfunktion: Empfehlung für den Einsatz einer Maßnahme; (5) Legitimationsfunktion: Nachweis des verantwortungsvollen Umgangs mit Ressourcen. Die Evaluationsforschung verwendet im Wesentlichen die Ansätze und Verfahren der klassischen psychologischen Methodenlehre, beschäftigt sich jedoch in stärkerem Maße mit Fragen der Wirksamkeit von Maßnahmen oder Programmen in spezifizierten Anwendungsfeldern sowie mit deren praxisgerechter Entwicklung, Adaptation und Implementation. Die zu evaluierenden Maßnahmen bedürfen einer theoretischen Fundierung (Programmtheorie), diese wird aber stets im Hinblick auf effektive Handlungsmöglichkeiten mit dem Ziel der optimalen Wirkung auf praktisch bedeutsame Zielgrößen (Outcomes; Kosten-Nutzen-Relation) betrachtet. Summative Evaluation bestimmt die Wirkung einer Maßnahme. Formative Evaluation zielt darauf ab, die Konzeption oder Durchführung einer Maßnahme zur optimierten Zielerreichung im Verlauf zu adaptieren und zu verbessern.
Dabei besteht eine enge Verbindung zu den Konzepten des Qualitätsmanagements und der Qualitätssicherung. Diese können als begleitende planerische und evaluierende Aktivitäten charakterisiert werden, die eine kontinuierliche Orientierung an definierten Zielzuständen (Qualitätsindikatoren) unterstützen, indem mittels operationalisierter Indikatoren kontrolliert wird, (a) ob die definierten Soll-Zustände erreicht werden und (b) wie im Falle von Abweichung korrigierend gehandelt werden kann. Qualitätsmanagementmodelle (z. B. EFQM; DIN-ISO) bilden hierfür die umfassendsten Konzepte.