Evaluationsdesigns und Methoden

Die Verwendung von Designs und Methoden ist immer abhängig von den Zielen und Fragestellungen der Evaluation: sie müssen so ausgelegt sein, dass sich mit ihrer Hilfe die Zielsetzungen verwirklichen und die Fragestellungen beantworten lassen. So braucht es z.B. für eine Prozessevaluation meist eine andere Herangehensweise als für eine Wirkungsanalyse (wobei auch die Wirkungsanalyse eine Prozessanalyse beinhalten sollte...).

Evaluationsdesigns und -methoden sind also immer kontext- und situationsabhängig und müssen für den jeweiligen Auftrag "maßgeschneidert" werden. Dafür braucht es Erfahrung und Expertise. "One size fits all" führt meist nicht zu den gewünschten Ergebnissen. 

Ermittlung der Ausgangslage der Evaluation

Am Anfang einer Evaluation steht daher die Ermittlung von grundlegenden Rahmenbedingungen und Zielsetzungen der Evaluation:

  • Evaluationsziele, Fragestellungen, Evaluationskritieren und Leistungs(Indikatoren) sowie
  • vorhandene Daten, zeitliche Rahmenbedingungen und Ressourcen

Auf Basis dieser Informationen kann dann ein Evaluationsdesign erstellt werden, mit geeigneten Methoden und Instrumenten.

Vorhandene Daten bzw. Aufbau von Monitoringsystemen

Viele Daten zu Inputs, Prozess und Outputs können im Verlauf der Projektabwicklung/Maßnahmenimplementierung mit relativ wenig Aufwand erhoben werden. Diese Monitoringdaten stellen als Datengerüst eine wichtige Grundlage für jede Evaluation dar. 

  • Wird eine Evaluation beauftragt, wenn ein Projekt/eine Maßnahme bereits fortgeschritten ist, so gilt es, diese Monitoringdaten ausfindig zu machen, gegebenenfalls aufzubereiten und auszuwerten.

Vorhandene Daten werden oft in Evaluationen nicht ausreichend berücksichtigt, dies führt zu Doppelerhebungen; die Chance, ein nachhaltiges Monitoring zu initiieren bzw. weiterzuentwickeln, bleibt ungenützt.

  • Wird eine Evaluation bereits zu Projektbeginn beauftragt bzw. ist die Evaluatorin/der Evaluator bereits in einem frühen Stadium involviert, so sollte der Aufbau eines geeigneten Monitoringsystems Teil des Auftrags sein. Dabei sollte folgendes berücksichtigt werden:  

- Dokumentationserfordernisse, Definition von relevanten Daten

- operative Umsetzung, ins Projekt integrierte Datenerhebung und -auswertung 

Quantitative und qualitative Methoden

Für die meisten Evaluationen braucht es einen "Methoden-Mix", d.h. quantitative und qualitative Daten. 

  •     Fragebogenerhebungen, qualitative Interviews

  •     Beobachtungen

  •     Analysen von Monitoringdaten und Dokumenten

  •     Dokumentarisches Verfahren

Prozessevaluation

Bewertung von Ergebnissen und Produkten

Wirkungsanalysen


Besondere Zugänge und Perspektiven

  • Entwicklungsorientierte Evaluation
    (Developmental Evaluation nach Michael Patton)

  • Nutzungsfokussierte Evaluation
    (Utilization-focused Evaluation nach Michael Patton)

  • Programmtheoriebasierte Evaluation

  • Wertschätzende Evaluation (Appreciative Inquiry)

 

INFO

Dr. Maria
Gutknecht-Gmeiner


Dr.-Josef-Resch-Pl. 14/3
1170 Wien, Austria
T: +43 (664) 23 65 980
office(at)impulse.at

UID: ATU 65417159

 

 

 

 

NEWS

 

18.10.2020

Verbindlichkeit in der internen Evaluation

Tagung der fteval 30.11.2020
Weitere Informationen zur Tagung und Tagungsanmeldung hier
30.11.2020


1.10.2020

Evaluation von projektübergreifenden Evaluationen
für das Evangelische Werk für Diakonie und Entwicklung e.V.,  
Brot für die Welt
Kick-off-Workshop
14.10.2020


16.8.2020

Evaluation "Stadtgrün - Artenreich und Vielfältig"
Kick-off  mehr
18.9.2020


28.5.2020

Evaluation "Weltumspannend arbeiten"
Abschlusspräsentation mehr
1.7.2020


31.4.2020

Evaluation "Richtig fit für ASVÖ-Vereine"
geht in die 5. Runde mehr

18.6.2020


1.10.2019

Evaluation und Organisationsentwicklung
Kurs im Rahmen des
Weiterbildungsprogramm Evaluation der Universität Bern

18.-19.10.2019