Wirkungsorientierung in der entwicklungspolitischen Inlandsarbeit.

Eine Studie und ihr Follow-up.

Design

Forschungsgegenstand

Die Studie konzentriert sich vor allem auf die entwicklungspolitische Bildungs- und Informationsarbeit im sowohl schulischen als auch außerschulischen Kontext. Zudem wurde im Bereich der Kampagnen vor allem die bildungs- und informationsbezogene Kampagnenarbeit im Kontext Schule in die Studie einbezogen.

Damit die Studie für unterschiedliche Bereiche der entwicklungspolitischen Bildungs- und Informationsarbeit aussagekräftig ist, wurden für das Feld charakteristische „Maßnahmentypen“ festgelegt, wobei diese Typen mit 24 auf eine bundesweite Ausschreibung hin eingereichten Fallbeispielen nochmals abgeglichen wurden.

Aus diesen 24 Fallbeispielen wurden gemeinsam mit der Steuerungsgruppe acht Fallbeispiele ausgewählt, die in der Studie als Forschungsgegenstand dienten, wobei immer zwei Fallbeispiele einem der folgenden Maßnahmentypen zugeordnet wurden:

  1. Kurzveranstaltungen, Projekt-/Seminartage und -wochen
  2. schulbezogene Kampagnenarbeit
  3. Schulung von Multiplikator/inn/en
  4. Entwicklung und Einsatz von Materialien

Dabei stellten alle acht Fallbeispiele Ausschnitte aus jeweils weit komplexeren Projekten dar.

Wirkungsmodellierung

Zur Vorbereitung der Wirkungsmodellierung wurde zunächst eine umfangreiche Desk-Studie[1] durchgeführt. Diese zielte zum einen darauf ab, den Forschungsstand zu Wirkungen in zentralen Bezugsfeldern entwicklungspolitischer Bildungsarbeit zu analysieren. Zum anderen sollte mit der Desk-Studie ein Überblick darüber gewonnen werden, wie in Arbeitsfeldern, die mit dem Forschungsvorhaben verbunden sind, Wirkungszusammenhänge analysiert und modelliert werden. Insgesamt 97 Studien wurden in die Modellierung einbezogen. Hinsichtlich der Vorgehensweise der Modellierung haben wir uns vor dem Hintergrund unserer Recherche-Ergebnisse für eine Orientierung an der Angebots-Nutzungs-Logik entschieden. In der Summe entstanden somit vier, auf unterschiedliche Bereiche der entwicklungspolitischen Bildungs- und Informationsarbeit ausgerichtete Wirkungsmodelle. In diesen Modellen wurden die Erkenntnisse aus der Desk Studie mit den empirischen Daten unserer eigenen Studie zusammengeführt, wodurch sich die von uns vorgenommene Modellierung auf eine deutlich größere Datenbasis stützt als sie durch unsere eigene Datenerhebung generiert werden konnte.

Methoden der Datenerhebung und -auswertung

Das methodische Design der Wirkungsanalysen in den Fallbeispielen ist als Kombination aus komplexen Wirkungsanalyse-Designs einerseits und niedrigschwelligen Evaluationsmethoden andererseits angelegt. Im Rahmen eines Mixed-Methods-Ansatzes wurden in den oben genannten Fallbeispielen zum einen retrospektiv, zum anderen längsschnittlich zu mindestens zwei Zeitpunkten (vor sowie kurzfristig nach einer Maßnahme und – wo möglich – auch drei bis sechs Monate nach einer Maßnahme) Daten erhoben. Dabei agierten im Sinne einer Investigator-Triangulation pro Fallbeispiel jeweils zwei Forscher/innen mit je unterschiedlichen Fach- und Erfahrungshintergründen. Ergänzend wurden über alle acht Fallbeispiele hinweg biografische Interviews mit den Projektverantwortlichen als in der entwicklungspolitischen Bildungs- und Informationsarbeit Aktiven geführt, um mehr über Einflussfaktoren zu erfahren, die entwicklungspolitisches Engagement begünstigen. Die Ergebnisse der Datenauswertung wurden in drei Schleifen kommunikativ validiert: zunächst im Rahmen von fallspezifischen Auswertungsworkshops mit den jeweiligen Projektverantwortlichen vor Ort, anschließend im Rahmen eines fallübergreifenden Abschlussworkshops und schließlich in einem Abschlussgespräch mit der Steuerungsgruppe.

Folgende Methoden der Datenerhebung und -auswertung kamen im Einzelnen zum Einsatz:

  • in quantitativer Hinsicht: standardisierte und teilstandardisierte Fragebogenerhebungen, Kartenabfragen, Befragungen nach dem Clicker-System sowie soziometrische Aufstellungen; die darüber erhobenen Daten wurden mit univariaten und bivariaten Analysemethoden sowie mit einfachen linearen Regressionsanalysen (im Falle von Clicker) ausgewertet;
  • in qualitativer Hinsicht: leitfadengestützte Einzelinterviews, Gruppeninterviews, Gruppendiskussionen, teilnehmende Beobachtung und Activity List[2]; diese Daten wurden inhaltsanalytisch oder (im Fall der Gruppendiskussionen) rekonstruktiv ausgewertet.
  • Über diese Methoden hinaus wurden Mischformen qualitativer und quantitativer Datenerhebungsmethoden eingesetzt: Hierzu zählten vor allem Ratingkonferenzen, Einflussmatrizen sowie das Kasese-Tool[3]. Diese Methoden wurden entsprechend der Datenlage sowohl quantitativ als auch qualitativ ausgewertet.
  • Zudem wurden Sekundärdaten einbezogen, die in den Fallbeispielen als Rohdaten oder aufbereitete Daten bereits vorlagen.

Sample

Einen genauen Überblick über das gesamte Sample der Studie finden Sie im Volltext zur Studie.

Geltungsbereich der Studie

Das für das Forschungsvorhaben verantwortliche Konsortium erhebt mit dem Studienzuschnitt nicht den Anspruch, eine umfassende Bestandsaufnahme der Wirksamkeit entwicklungspolitischer Inlandsarbeit bereitzustellen. Der Fokus der Studie liegt vielmehr darauf, anhand der Analyse von ausgewählten Fallbeispielen inhaltliche und methodische Anhaltspunkte aufzuzeigen, die eine wirkungsorientierte Planung, Auswertung und Reflexion von Maßnahmen erleichtern sollen.


[1] Vgl. Bergmüller, C., Höck, S. & Quiring, E. (2017). Desk Studie und Wirkungsmodellierung im Rahmen des BMZ-Ressortforschungsvorhabens „Wirkungen und Methoden der Wirkungsbeobachtung in der entwicklungspolitischen Inlandsarbeit“. Nürnberg, Freising, Bonn. Die Ergebnisse der Desk-Studie können auf Wunsch bei den Autorinnen erfragt werden.
[2]
Siehe http://venro.org/uploads/tx_igpublikationen/2012_NGO_Ideas_tinytools_englisch.pdf [30.07.2018]  
[3] ebd.