Ablauf

Der folgenden Grafik kann der Ablauf der Studie entnommen werden:

Forschungsgegenstand

Die Studie konzentriert sich auf Wirkungen der entwicklungspolitischen Bildungs- und Informationsarbeit im sowohl schulischen als auch außerschulischen Kontext. Zudem wurde im Bereich der Kampagnen vor allem die bildungs- und informationsbezogene Kampagnenarbeit im Kontext Schule in die Studie einbezogen. 

Empirische Fallanalysen

Damit die Studie für unterschiedliche Bereiche der entwicklungspolitischen Bildungs- und Informationsarbeit aussagekräftig ist, wurden für das Feld charakteristische „Maßnahmentypen“ festgelegt, wobei diese Typen mit 24 auf eine bundesweite Ausschreibung hin eingereichten Fallbeispielen nochmals abgeglichen wurden. 

Aus diesen 24 Fallbeispielen wurden gemeinsam mit der Steuerungsgruppe acht Fallbeispiele ausgewählt, die in der Studie als Forschungsgegenstand dienten, wobei immer zwei Fallbeispiele einem der folgenden Maßnahmentypen zugeordnet wurden: 

1. Kurzveranstaltungen, Projekt-/Seminartage und -wochen
2. schulbezogene Kampagnenarbeit
3. Schulung von Multiplikator/inn/en
4. Entwicklung und Einsatz von Materialien

Dabei stellten alle acht Fallbeispiele Ausschnitte aus jeweils weit komplexeren Projekten dar.

Desk Studie

Neben den Fallanalysen wurde eine umfangreiche Desk-Studie  [1] durchgeführt. Diese zielte zum einen darauf ab, den Forschungsstand zu Wirkungen in zentralen Bezugsfeldern entwicklungspolitischer Bildungsarbeit zu analysieren und gemeinsam mit den eigenen Fallanalysen in die Wirkungsmodellierung einzupflegen. Zum anderen sollte mit der Desk-Studie ein Überblick darüber gewonnen werden, wie in Arbeitsfeldern, die mit dem Forschungsvorhaben verbunden sind, Wirkungszusammenhänge analysiert und modelliert werden. Insgesamt 97 Studien wurden auf diese Weise in die Studie einbezogen.

Wirkungsmodellierung

Bei der Erstellung unserer Wirkungsmodelle haben wir uns vor dem Hintergrund unserer Recherche-Ergebnisse in der Deskstudie  für eine Orientierung an der Angebots-Nutzungs-Logik entschieden. In der Summe entstanden somit vier, auf unterschiedliche Bereiche der entwicklungspolitischen Bildungs- und Informationsarbeit ausgerichtete Wirkungsmodelle, die alle der gleichen Grundstruktur folgen. In diesen Modellen wurden die Erkenntnisse aus der Desk Studie mit den empirischen Daten unserer eigenen Studie zusammengeführt, wodurch sich die von uns vorgenommene Modellierung auf eine deutlich größere Datenbasis stützt als sie durch unsere eigene Datenerhebung generiert werden konnte. 

Methoden der Datenerhebung und -auswertung

Das methodische Design der Wirkungsanalysen in den Fallbeispielen ist als Kombination aus komplexen Wirkungsanalyse-Designs einerseits und niedrigschwelligen Evaluationsmethoden andererseits angelegt. Im Rahmen eines Mixed-Methods-Ansatzes wurden in den oben genannten Fallbeispielen zum einen retrospektiv, zum anderen längsschnittlich zu mindestens zwei Zeitpunkten (vor sowie kurzfristig nach einer Maßnahme und – wo möglich – auch drei bis sechs Monate nach einer Maßnahme) Daten erhoben. Dabei agierten im Sinne einer Investigator-Triangulation pro Fallbeispiel jeweils zwei Forscher/innen mit je unterschiedlichen Fach- und Erfahrungshintergründen. Ergänzend wurden über alle acht Fallbeispiele hinweg biografische Interviews mit den Projektverantwortlichen als in der entwicklungspolitischen Bildungs- und Informationsarbeit Aktiven geführt, um mehr über Einflussfaktoren zu erfahren, die entwicklungspolitisches Engagement begünstigen. Die Ergebnisse der Datenauswertung wurden in drei Schleifen kommunikativ validiert: zunächst im Rahmen von fallspezifischen Auswertungsworkshops mit den jeweiligen Projektverantwortlichen vor Ort, anschließend im Rahmen eines fallübergreifenden Abschlussworkshops und schließlich in einem Abschlussgespräch mit der Steuerungsgruppe.

Folgende Methoden der Datenerhebung und -auswertung kamen im Einzelnen zum Einsatz: 

• in quantitativer Hinsicht: standardisierte und teilstandardisierte Fragebogenerhebungen, Kartenabfragen, Befragungen nach dem Clicker-System sowie soziometrische Aufstellungen; die darüber erhobenen Daten wurden mit univariaten und bivariaten Analysemethoden sowie mit einfachen linearen Regressionsanalysen (im Falle von Clicker) ausgewertet;
• in qualitativer Hinsicht: leitfadengestützte Einzelinterviews, Gruppeninterviews, Gruppendiskussionen, teilnehmende Beobachtung und Activity List[2]; diese Daten wurden inhaltsanalytisch oder (im Fall der Gruppendiskussionen) rekonstruktiv ausgewertet.
• Über diese Methoden hinaus wurden Mischformen qualitativer und quantitativer Datenerhebungsmethoden eingesetzt: Hierzu zählten vor allem Ratingkonferenzen, Einflussmatrizen sowie das Kasese-Tool[3]. Diese Methoden wurden entsprechend der Datenlage sowohl quantitativ als auch qualitativ ausgewertet.
• Zudem wurden Sekundärdaten einbezogen, die in den Fallbeispielen als Rohdaten oder aufbereitete Daten bereits vorlagen

Sample

Einen genauen Überblick über das gesamte Sample der Studie finden Sie im Volltext zur Studie (vgl. S. 49-54). 

Geltungsbereich der Studie

Der Fokus der Studie liegt auf der Analyse von Wirkungszusammenhängen der entwicklungspolitischen Bildungs- und Informationsarbeit. Übertragungen auf andere Maßnahmenformate sind damit nur bedingt zulässig, da hier z.T. andere Zusammenhänge bestehen, die wir bei unseren bisherigen Analysen nicht mitberücksichtigen konnten. Für die von uns untersuchten Maßnahmen zielen die Modelle darauf ab, empirisch fundierte Anhaltspunkte aufzuzeigen und so eine wirkungsorientierte Planung, Auswertung und Reflexion von Maßnahmen zu erleichtern. 

[1] Vgl. Bergmüller, C., Höck, S. & Quiring, E. (2017). Desk Studie und Wirkungsmodellierung im Rahmen des BMZ-Ressortforschungsvorhabens „Wirkungen und Methoden der Wirkungsbeobachtung in der entwicklungspolitischen Inlandsarbeit“. Nürnberg, Freising, Bonn. Die Ergebnisse der Desk-Studie können auf Wunsch bei den Autorinnen erfragt werden.
[2] Siehe http://venro.org/uploads/tx_igpublikationen/2012_NGO_Ideas_tinytools_englisch.pdf [30.07.2018]  
[3] ebd.