Qualitative Methoden in der Evaluation

Vom lateinischen Wort „valere“ („stark, wert sein“) hergeleitet, bedeutet Evaluation sach- und fachgerechte (Untersuchung und) Bewertung (vgl. Wikipedia). Voraussetzung dafür ist ein spezifisches Denkmodell, das ein nachprüfbares Verfahren des Bewertens von Sachverhalten, Prozessen, Gegenständen oder Organisationseinheiten beinhaltet. In Hinblick auf den Evaluationsprozess kann Evaluation als „jede methodisch kontrollierte, verwertungs- und bewertungsorientierte Form des Sammelns, Auswertens und Verwertens von Informationen“ beschrieben werden (Kromrey 2001, S. 1). 

Evaluation im Präventionsbereich der AUVA

In den vergangenen Jahren gewannen in der AUVA Fragen nach der nachweislichen Wirkung von Präventionsmaßnahmen und der systematischen Steigerung der Qualität dieser Maßnahmen an Bedeutung. Wirkungszusammenhänge wurden zunächst aber in erster Linie unter Rückgriff auf die Entwicklung von Unfallzahlen hergestellt, ohne Seiteneffekte zu berücksichtigen, ohne die wesentlichen Einflussfaktoren auf den Erfolg der jeweiligen Präventionsmaßnahmen herauszufiltern und entlang eines Wirkungsmodells zu überprüfen.

Die Basis für die Umstellung auf eine systematische Evaluation von Präventionsaktivitäten entlang theoretisch fundierter Wirkungsketten wurde 2013 mit der Entwicklung des „Integrativen Baukastensystems für Evaluationen im Präventionsbereich der AUVA“, kurz IBE, gelegt (vgl. Spiel et al., 2013). Damit können der Prozess von Planung, Konzeption, Umsetzung bis hin zu den Auswirkungen von Präventionsmaßnahmen beleuchtet, laufend Verbesserungspotentiale erkannt und so eine stetige Steigerung der Wirksamkeit von Prävention forciert werden (siehe Abb.1, vgl. Strobach 2014).

Das System des „Baukastens“ ermöglicht es, einzelne Bausteine der Evaluation zu betrachten und gegebenenfalls auszuwählen. Je nach Zielsetzung der Evaluation und unter Berücksichtigung der DeGEval-Standards für Evaluation (insbesondere Nützlichkeit und Durchführbarkeit, vgl. DeGEval 2002) können ausgewählte Bausteine in die Bewertung einfließen. Im Zentrum des IBE stehen vor allem die Fragen „Wirkt eine Maßnahme?“ (und in welchem Ausmaß) sowie „Warum wirkt sie?“.

Qualitative Methoden in der Evaluationsforschung

Um die Fragen der Wirkung beantworten und daraus Konsequenzen ableiten zu können, müssen angepasst an den jeweiligen Evaluationsgegenstand und das definierte Evaluationsziel Informationen beschafft und bewertet werden. Insbesondere bei der Frage nach dem „Warum und Wieso“ der Wirkung von Präventionsmaßnahmen greifen standardisierte Methoden der Informationsbeschaffung oft zu kurz. Quantitative Erhebungsinstrumente (z. B. Fragebogen, Beobachtungsbogen) können die soziale Wirklichkeit in ihrer Vielfalt nur eingeschränkt und ausschnittsweise erfassen (vgl. Lamnek, 1995, S. 4).

„Die vollständige Erfassung komplexer Wirkungsgefüge mit ausschließlich standardisierten Instrumentarien, d. h. die Erfassung aller wirksamen unabhängigen Variablen, ist nicht möglich. Es bedarf jeweils auch qualitativer Verfahren, um solche im Vorwissen und bei der Konzeption der Evaluation nicht präsenten Sachverhalte überhaupt entdecken zu können.“ (Kuckartz et al. 2008, S. 14)

Die Evaluationsforschung bedient sich häufig einer Mischung quantitativer und qualitativer Methoden (vgl. Bortz & Döring 2006, S. 298), und auch das IBE sieht den Einsatz von qualitativen und quantitativen Methoden der Sozialforschung vor. Erstere sind geeignet, Häufigkeiten und Verteilungen abzubilden sowie Wirkungs- und Ursachenzusammenhänge herzustellen. Qualitative Evaluation ermöglicht dagegen das Erfassen von komplexen Einstellungs- und Handlungsmustern von Einzelpersonen und Gruppen sowie von Prozessen und Dynamiken sozialer Systeme.

Im Rahmen qualitativer Erhebungsverfahren können Menschen ihre subjektiven Sichtweisen und Meinungen in ihrer eigenen Sprache entwickeln. Es geht dabei nicht um das vordergründige Erkennen von Phänomenen, sondern „zusätzlich bedarf es der Erforschung der diesen Phänomenen von den handelnden Menschen zugrunde gelegten Bedeutungen“ (Lamnek 1995, S. 40). Es gilt die Werthaltungen derjenigen zu rekonstruieren, die Gegenstand der Evaluation sind, und diese in eine systematische Ordnung zu bringen. Gleichzeitig müssen die Evaluationsforscherinnen und -forscher ihre eigenen Wertorientierungen reflektieren, um sie nicht unkontrolliert in die Evaluation einfließen zu lassen (vgl. Bohnsack / Nentwig-Gesemann 2010, S. 24).

Qualitätskriterien für die qualitative Evaluationsforschung

Dem beschriebenen theoretischen Anspruch an die qualitative Evaluationsforschung steht häufig ein nachlässiger Umgang in der Praxis gegenüber: Qualitative Methoden werden vielfach zum Lückenbüßer in einem unzulänglichen quantitativen Design, sie werden zum Synonym für alles, was nicht quantitativ ist, ohne die spezielle Logik und die Grundprinzipien qualitativer Forschung zu berücksichtigen. Wissenschaftliche Ansprüche werden nicht eingehalten, und letztlich trifft der Vorwurf der Beliebigkeit die qualitative Forschung insgesamt, obwohl das Problem in ihrer achtlosen Anwendung liegt.

Um die Möglichkeiten der qualitativen Evaluationsforschung gewinnbringend zu nutzen und gleichzeitig eine qualitätsvolle Durchführung sicherzustellen, hat die AUVA das Institut für Soziologie an der Universität Wien beauftragt, Qualitätskriterien für die Anwendung unterschiedlicher qualitativer Erhebungs- und Auswertungsmethoden für die Evaluationspraxis zu beschreiben. Die Ergebnisse sind im AUVA-Report 72 veröffentlicht und sollen als Entscheidungsgrundlage für die Anwendung qualitativer Evaluationsstrategien und -methoden ebenso dienen wie als Unterstützung bei der Durchführung qualitativer Evaluationsforschung bzw. der Beurteilung der sach- und fachgerechten Anwendung qualitativer Methoden (vgl. Flecker et al. 2016).

Da die Ansprüche einer an Grundlagenforschung orientierten Evaluation für die praktische Anwendung in der Evaluation oft zu hoch sind, stehen in den Methodenkapiteln des AUVA-Reports 72 Kriterien als Entscheidungs- und Wissensbasis in Tabellenform zur Verfügung (ebd., S. 7).

Exemplarisch werden im Folgenden zwei Verfahren aus dem oben genannten Report dargestellt (vgl. Flecker et al 2016).

Das Problemzentrierte Interview

Das Problemzentrierte Interview (PZI) ist eine qualitative Erhebungsmethode, die im Rahmen der empirischen Sozialforschung Anwendung findet; sie wird in Form eines Einzelgespräches durchgeführt. Entwickelt wurde die Methode vom deutschen Psychologen Andreas Witzel in den 1980er-Jahren. Wie der Name bereits andeutet, eignet sich diese Methode besonders dafür, Informationen bzw. Daten zu einer spezifischen sozialen bzw. gesellschaftlichen Problemstellung zu erheben und auszuwerten. Im Rahmen eines vertiefenden Gespräches werden Sichtweisen, Erfahrungen, Einstellungen und Handlungsweisen im Zusammenhang mit dem Problemfeld von Betroffenen sichtbar gemacht. Das PZI zielt aber auch darauf ab, den historischen, sozialen und politischen Kontext, in den das jeweilige Thema eingebettet ist, mit auszuleuchten und als Erkenntnishintergrund mit zu berücksichtigen.

Die Gesprächsmethode ist eine Variante des narrativen Interviews. Sie ergänzt die freie Erzählung der Befragten durch gezielte, auf Leitfäden gestützte Fragen und ist also eine Mischform zwischen standardisierten, auf Items gestützten Interviews und offenen, narrativen Gesprächen. Die Methode kombiniert induktives (narratives, offen erzählendes) und deduktives (theoriegeleitetes, gezielt nachfragendes) Vorgehen. Sie gewährt den Gesprächspartnerinnen und -partnern einerseits offenen Raum für deren persönliche Sichtweisen, gleicht aber andererseits die so gewonnenen Inhalte durch gezielte Nachfrage oder Verständnisfragen „theorieprüfend“ ab. 

Der Gesprächsverlauf

In der Vorbereitung müssen die interviewenden Personen ein Vorverständnis bezüglich der Forschungsfrage erwerben und einen Interviewleitfaden erstellen. Der Leitfaden dient einerseits als Gedächtnisstütze, andererseits als inhaltlicher Orientierungsrahmen für den Gesprächsverlauf und damit auch als Basis für die strukturelle Vergleichbarkeit mit anderen Interviews. Der zu den Fragestellungen und Evaluationsbausteinen passenden Auswahl von Gesprächspartnerinnen und -partnern kommt wesentliche Bedeutung zu.

Das PZI beginnt mit einer vorformulierten, aber offenen, erzählanregenden Einstiegsfrage, die gleichzeitig auf das zu untersuchende Problem fokussiert. Der weitere Gesprächsverlauf geht vorwiegend von den interviewten Personen aus, die unbeeinflusste Erzählung zu Beginn legt die Perspektiven der Betroffenen offen. Im weiteren Verlauf greifen die Interviewenden diese Perspektive auf und setzen durch detailförderndes Nachfragen einen problemzentrierenden Rahmen. Innerhalb dieses Rahmens werden die subjektiven Perspektiven der Interviewten vertieft und im Sinne der Problemzentrierung präzisiert. Zum Zwecke der Informationsverdichtung werden spezielle Techniken eingesetzt – dazu zählen neben Verständnisfragen vor allem die „Rückspiegelung“ und die „Konfrontation“. Bei der Rückspiegelung fassen die Interviewenden die Äußerungen der Befragten im Sinne einer Bilanzierung zusammen, um sie bestätigen, korrigieren oder ergänzen zu lassen. Bei der Konfrontation werden die Befragten gebeten, allfällige Widersprüche zu erklären oder auch deutlichere Begründungen oder Erklärungen darzulegen.

Am Gesprächsende wird – so für notwendig erachtet – noch ein kurzer soziodemografischer Fragebogen zur statistischen Datensammlung beantwortet. Das gesamte Interview wird auf einem Tonträger aufgezeichnet, bemerkenswerte Beobachtungen und nicht aufgezeichnete Informationen werden sofort nach Gesprächsende notiert.

Die Auswertung

Das PZI wird vollständig transkribiert. Je nach Erkenntnisinteresse gelangen verschiedene Auswertungsmethoden zur Anwendung. Wenn es darum geht, Muster zu erkennen oder Typen zu bilden, bieten sich Kodierverfahren oder Kategorisierungsstrategien an. Für die Rekonstruktion von Einstellungen oder Bewertungen eignen sich textinterpretative (hermeneutische) Verfahren bzw. auf der Grounded Theorie basierende Auswertungsverfahren. Die Auswertung setzt entsprechende Schulung in qualitativen Auswertungsmethoden voraus.

Die Anwendung im Rahmen der Evaluation

Das PZI kann mit Ausnahme der Inputevaluation in allen Gliedern einer Wirkungskette (Evaluationsbausteine) von Interventionen eingesetzt werden. Je nach Zeitpunkt bzw. Baustein der Evaluation von Präventionskonzepten oder Maßnahmen lassen sich die Perspektiven, Einstellungen, Sichtweisen, Deutungs- und Handlungsmuster von Betroffenengruppen (Stakeholdern) wesentlich besser herausarbeiten und verstehen, als dies mit rein quantitativen Verfahren möglich wäre.

Die Fokusgruppe

Gruppenbasierte Verfahren

Gruppenbasierte Verfahren der qualitativen Datenerhebung können in unterschiedlichen Settings und mit unterschiedlichen Ansprüchen stattfinden. Die Abgrenzung zwischen den einzelnen Formen von Gruppenverfahren ist fließend, im anglo-amerikanischen Raum anders als im europäischen und wird häufig diskutiert. So werden in der qualitativen Evaluation häufig „einfache“ Workshops eingesetzt, um z. B. Ziele von Maßnahmen auszuarbeiten und Indikatoren für ihre Messbarkeit zu definieren. Streng genommen sind sie per se keine sozialwissenschaftliche Methode der Datenerhebung, sondern eine Ergänzung und ein Instrument zur Einbeziehung relevanter Personen. 

Die Gruppendiskussion hingegen ist in der sozialwissenschaftlichen Forschung ein methodologisch gut fundiertes Verfahren, mit dem sich Prozesse innerhalb der Gruppe analysieren lassen. Sie zielt in der Evaluation vor allem darauf ab, Zusammenhänge zwischen einer spezifischen Gruppe und dem größeren sozialen Gefüge einer Organisation sichtbar zu machen. Wenn beispielsweise Fragen nach Gruppenprozessen, Etablierung von Kultur in einer Organisation oder Veränderungen von Praktiken und deren Wahrnehmung durch Mitarbeiterinnen und Mitarbeiter interessieren, ist die Gruppendiskussion ein passendes Verfahren.

Der Einsatz der Fokusgruppe

Vor allem die Gruppenbefragung (oder Fokusgruppe) kommt in den Evaluationen der Präventionsleistungen in der AUVA bereits häufig zum Einsatz und soll hier exemplarisch näher beschrieben werden. Dieses Verfahren findet oft auch in der Markt- und Meinungsforschung und in anderen Feldern Anwendung, in denen es darum geht, in einer differenzierten Weise, aber dennoch effizient Perspektiven, Meinungen und Einstellungen zu erheben. Was lässt sich mit einer Gruppenbefragung oder Fokusgruppe in der Evaluation untersuchen? So können z. B. im Rahmen der Konzeptevaluation Multiplikatorinnen und Multiplikatoren befragt werden, die Maßnahmen in die Betriebe tragen sollen. Damit lässt sich in Erfahrung bringen, wie das Konzept von jenen wahrgenommen und verstanden wird, die die Maßnahme vermitteln werden. Welche Erwartungen haben die Multiplikatorinnen und Multiplikatoren an das Material, die Schulungen, das Konzept für die Maßnahme? Bezüglich der Implementierung und Umsetzung von Maßnahmen wiederum können Multiplikatorinnen und Multiplikatoren einbezogen werden, um Erfahrungen mit der Implementierung von Maßnahmen in den Betrieben, Probleme, Schwierigkeiten zu reflektieren. Wie gelingt der Prozess der Implementierung, und welche Ansätze zur Verbesserung finden sich im Rahmen der Implementierung?

Tipps für die Durchführung der Fokusgruppe

Die Zusammensetzung der Teilnehmerinnen und Teilnehmer in einer Gruppenbefragung soll möglichst heterogen (verschiedenartig, uneinheitlich) sein. So kann Einblick in eine möglichst große Bandbreite an Erfahrungen, Ideen und Erkenntnissen gewonnen werden. Auch die inhaltliche Kompetenz der Leiterin bzw. des Leiters der Gruppenbefragung ist wichtig. Sie oder er muss über das Programm oder die Maßnahme, die es zu evaluieren gilt, gut Bescheid wissen, eventuell sogar eingebunden sein. Das Wissen über den Gegenstand ermöglicht eine gezielte Befragung und ein strukturiertes Nachfragen, es vereinfacht die Auswertung der Gruppenbefragung. Auch die Möglichkeiten von Protokollierung und Aufzeichnung müssen im Vorfeld geklärt werden. Es empfiehlt sich, eine zweite Person für die Führung eines schriftlichen (Beobachtungs-)Protokolls einzubeziehen. Die Anwendung des Leitfadens sollte flexibel gestaltet werden. Die vorweg identifizierten Themen sollten behandelt und sämtliche interessierenden Bereiche abgedeckt werden. Wenn jedoch im Gespräch andere, neue Perspektiven auftauchen, wenn die Gesprächsteilnehmerinnen und -teilnehmer offensichtlich Bedeutsames ansprechen oder gänzlich andere Fokussierungen gesetzt werden, lässt sich darauf flexibel eingehen – unter Berücksichtigung des zeitlichen Rahmens. Hier sind die fachliche Eignung und die methodische Qualifikation der Gesprächsleitung zentral. Diese sollte in der Lage sein, Abschweifungen zu korrigieren, neue Ideen oder Perspektiven aber als solche zu erkennen und zuzulassen. Personen, die sich an einer Diskussion nicht oder nicht im gewünschten Ausmaß beteiligen, sollten von der Leitung aktiv in das Gespräch einbezogen werden. Auch nach der Gruppenbefragung ist noch methodische Kompetenz gefragt: Geeignete Auswertungsmethoden für Fokusgruppen sind im Bereich von inhaltsanalytisch orientierten Verfahren zu finden. So kann die Inhaltsanalyse nach Mayering oder die Themenanalyse zur Anwendung kommen.

Literatur:

• Bortz, J. & Döring, N. (2006): Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Berlin, Heidelberg: Springer Verlag.
• Bohnsack, R. & Nentwig-Gesemann, I. (Hg.) (2010): Dokumentarische Evaluationsforschung. Theoretische Grundlagen und Beispiele aus der Praxis. Opladen & Farmington Hills: Verlag Barbara Budrich
• DeGEval – Deutsche Gesellschaft für Evaluation (2008): Standards für Evaluation. Köln: Deutsche Gesellschaft für Evaluation.
• Flecker, J., Krajic, K., Reiter, C. & Wimmer, E. (2016): Qualitative Erhebungs- und Auswertungsmethoden zur Umsetzung qualitativ hochwertiger Evaluationen. Ein Beitrag zum Baukastensystem für Evaluationen im Präventionsbereich der AUVA. Report Nr. 72, AUVA.
• Kromrey, H. (2001): Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. In: Sozialwissenschaften und Berufspraxis, 24. Jg., Heft 2/2001.
• Kuckartz, U., Dresing, T., Rädiker, S. & Stefer, C. (2008): Qualitative Evaluation. Der Einstieg in die Praxis. 2. Auflage. Wiesbaden: VS Verlag für Sozialwissenschaften.
• Lamnek, S. (1995): Qualitative Sozialforschung. Band 1: Methodologie. 3. korrigierte Auflage. Weinheim: Beltz, PsychologieVerlagsUnion.
• Patry, J.-L. & Perrez, M. (2000): Theorie-Praxis-Probleme und die Evaluation von Interventionsprogrammen. In: W. Hager, J.-L. Patry & H. Brezing (Hg.): Evaluation psychologischer Interventionsmaßnahmen (S. 19–40). Bern: Huber.
• Spiel, G., Finsterwald, M., Popper, V. & Hesse, N. (2013): Darstellung des integrativen Baukastensystems für Evaluationen im Präventionsbereich der AUVA. Report Nr. 63, AUVA.
• Strobach, T. (2014): Präventionsmaßnahmen auf ihre Wirksamkeit bewerten. In: AUVA (Hg.). Sichere Arbeit 5/2014. Wien: Verlag des Österreichischen Gewerkschaftsbundes GmbH, S. 22–30.
• Wikipedia: Evaluation. Abrufbar unter: https://de.wikipedia.org/wiki/Evaluation (letzter Aufruf am 15.12.2016).

Zusammenfassung

Wie können die Methoden und Werkzeuge der qualitativen Evaluationsforschung bestmöglich im Präventionsbereich genutzt werden? Die AUVA hat das Institut für Soziologie an der Universität Wien beauftragt, Qualitätskriterien für die Anwendung qualitativer Erhebungs- und Auswertungsmethoden für die Evaluationspraxis zu beschreiben und damit eine Antwort auf diese Fragestellung zu geben.