Evaluationsdesigns und Methoden

Die Verwendung von Designs und Methoden ist immer abhängig von den Zielen und Fragestellungen der Evaluation: sie müssen so ausgelegt sein, dass sich mit ihrer Hilfe die Zielsetzungen verwirklichen und die Fragestellungen beantworten lassen. So braucht es z.B. für eine Prozessevaluation meist eine andere Herangehensweise als für eine Wirkungsanalyse (wobei auch die Wirkungsanalyse eine Prozessanalyse beinhalten sollte...).

Evaluationsdesigns und -methoden sind also immer kontext- und situationsabhängig und müssen für den jeweiligen Auftrag "maßgeschneidert" werden. Dafür braucht es Erfahrung und Expertise. "One size fits all" führt meist nicht zu den gewünschten Ergebnissen. 

Ermittlung der Ausgangslage der Evaluation

Am Anfang einer Evaluation steht daher die Ermittlung von grundlegenden Rahmenbedingungen und Zielsetzungen der Evaluation:

  • Evaluationsziele, Fragestellungen, Evaluationskritieren und Leistungs(Indikatoren) sowie
  • vorhandene Daten, zeitliche Rahmenbedingungen und Ressourcen

Auf Basis dieser Informationen kann dann ein Evaluationsdesign erstellt werden, mit geeigneten Methoden und Instrumenten.

Vorhandene Daten bzw. Aufbau von Monitoringsystemen

Viele Daten zu Inputs, Prozess und Outputs können im Verlauf der Projektabwicklung/Maßnahmenimplementierung mit relativ wenig Aufwand erhoben werden. Diese Monitoringdaten stellen als Datengerüst eine wichtige Grundlage für jede Evaluation dar. 

  • Wird eine Evaluation beauftragt, wenn ein Projekt/eine Maßnahme bereits fortgeschritten ist, so gilt es, diese Monitoringdaten ausfindig zu machen, gegebenenfalls aufzubereiten und auszuwerten.

Vorhandene Daten werden oft in Evaluationen nicht ausreichend berücksichtigt, dies führt zu Doppelerhebungen; die Chance, ein nachhaltiges Monitoring zu initiieren bzw. weiterzuentwickeln, bleibt ungenützt.

  • Wird eine Evaluation bereits zu Projektbeginn beauftragt bzw. ist die Evaluatorin/der Evaluator bereits in einem frühen Stadium involviert, so sollte der Aufbau eines geeigneten Monitoringsystems Teil des Auftrags sein. Dabei sollte folgendes berücksichtigt werden:  

- Dokumentationserfordernisse, Definition von relevanten Daten

- operative Umsetzung, ins Projekt integrierte Datenerhebung und -auswertung 

Quantitative und qualitative Methoden

Für die meisten Evaluationen braucht es einen "Methoden-Mix", d.h. quantitative und qualitative Daten. 

  •     Fragebogenerhebungen, qualitative Interviews

  •     Beobachtungen

  •     Analysen von Monitoringdaten und Dokumenten

  •     Dokumentarisches Verfahren

Prozessevaluation

Bewertung von Ergebnissen und Produkten

Wirkungsanalysen


Besondere Zugänge und Perspektiven

  • Entwicklungsorientierte Evaluation
    (Developmental Evaluation nach Michael Patton)

  • Nutzungsfokussierte Evaluation
    (Utilization-focused Evaluation nach Michael Patton)

  • Programmtheoriebasierte Evaluation

  • Wertschätzende Evaluation (Appreciative Inquiry)

 

INFO

Dr. Maria
Gutknecht-Gmeiner


Dr.-Josef-Resch-Pl. 14/3
1170 Wien, Austria
T: +43 (664) 23 65 980
office(at)impulse.at

UID: ATU 65417159

ANKÖ Zertifikat 58692

 

 

 

 

 

 

 

NEWS

 

23.9.2014

Externe Evaluationen planen, beauftragen und nutzen
Seminar am bifeb mehr
3.-5.12.2014


23.1.2014
"Developmental Evaluation"
Workshop für Evaluierungseinheiten der Organisationen der Entwicklungszusammenarbeit,
Bonn


8.12.2013
Peer Learning
2nd InterCity Conference, Helsinki


30.10.2013
Evaluationskompetenz und Schulung von Peers
Zeitschrift für Evaluation 2/2013


1.10.2013
"Developmental Evaluation"nach Patton, Session DeGEval Konferenz, München


30.9.2013
"Internationalisierung der österreichischen Schulen
Qualitative Studie


26.9.2013
Study Visit "Peer Review" 
Expertise
Peruigia, Italien


11.9.2013
Seminar: "Gender Mainstreaming von/in Evaluationen"
DeGEval-Konferenz