Dieser Artikel wurde ursprünglich von der Benckiser Stiftung Zukunft veröffentlicht.
Alle, auch wir, sprechen über Wirkung. Einige sprechen so viel über Wirkung, dass ihre Zuhörer schon mit den Augen rollen, wenn das W-Wort fällt. Ein Grund für diese Reaktion ist möglicherweise Überforderung. Vor allem aber liegt das an dem noch immer unklaren und inkonsequenten Umgang mit dem Begriff.
Was ist Wirkung? Zunächst ist Wirkung die zweite Hälfte der Kausalität, Ursache ist die erste Hälfte und beide sind untrennbar miteinander verbunden. Im sozialen Sektor bezeichnet man mit Wirkung die mittel- und langfristigen Veränderungen, die infolge einer bestimmten Leistung bei einer bestimmten Zielgruppe, in ihrem Lebensumfeld und schließlich in Teilbereichen der Gesellschaft auftreten. Zwischen einer sozialen Intervention und diesen Veränderungen wird demnach eine kausale Ursache-Wirkung-Beziehung angenommen.(1)
Lange Zeit wurde nicht darauf geachtet, ob und wie soziale Programme tatsächlich wirken. Die Wirkungsannahme und nicht zuletzt der dahinter stehende gute Wille waren ausreichend. Inzwischen wissen wir: Interventionen können nicht nur nicht so wirken wie gedacht, sie können auch gänzlich unwirksam sein, völlig an der Zielgruppe vorbeigehen oder sogar schädlich sein. Es sollte sich von selbst verstehen, dass die Akteure im sozialen Sektor alles tun, um mit ihrer Arbeit möglichst viele Personen ihrer Zielgruppe möglichst gut zu erreichen, und dass dies bestmöglich nachgewiesen wird. Umso mehr, als diese Arbeit ja zum Großteil aus Steuergeldern finanziert wird. Die gegenwärtige Aufmerksamkeit für Wirkung ist daher begrüßenswert. Jedoch nur, wenn dabei mit Begriff und Konzept differenziert, konsequent und ehrlich umgegangen wird.
Was ist notwendig, um über die Wirkung eines Programms sprechen zu können? Zunächst sollte man wissen, was man mit einem Programm eigentlich erreichen will, also konkrete und detaillierte Projektziele haben. Und dann überprüfen, ob und wie durch das jeweilige Programm genau diese angestrebten Ziele erreicht werden.
Wie kann eine solche Überprüfung aussehen? Wie es scheint, beißen sich viele Stiftungen, Non-Profit Organisationen und Berater hieran gerade etwas die Zähne aus. Dabei ist es ganz einfach: Die Kausalität zwischen Ursache und Wirkung gibt den Weg vor. Solange ich nicht zeigen kann, dass eine Veränderung bei der Zielgruppe tatsächlich eindeutig infolge meiner sozialen Intervention geschehen ist, kann und darf ich nicht von Wirkung sprechen. Der wissenschaftlich valide Nachweis einer kausalen Beziehung zwischen Intervention und Veränderungen ist jedoch nicht einfach zu erbringen. Die neue Aufmerksamkeit für Wirkung stößt also auf nicht unerhebliche Barrieren. Wirkung ist eben nicht trivial. Das erklärt auch, warum von den immer noch wenigen Organisationen, die Wirkung nachweisen wollen, noch weniger Organisationen diesen Beweis tatsächlich liefern können.
Was tun, um die zarte Flamme Wirkung nicht schon wieder auszublasen, bevor ein echtes Feuer entstehen kann? Bemerkenswert klar und differenziert geht der Landespräventionsrat Niedersachsen (LPR) in seinem Projekt „Communities That Care - CTC“ mit dem Thema Wirksamkeit um. In die Empfehlungsliste „Grüne Liste Prävention“ werden ausschließlich Präventionsprogramme aufgenommen, die eine Reihe klar definierter Anforderungen erfüllen. Grundlage hierfür ist das theoretische Modell von Jan Veerman und Tom van Yperen(2). In diesem Modell werden soziale Interventionen auf einem Entwicklungsweg verortet: Auf den meisten Entwicklungsstufen können nur Methoden mit deskriptiver, theoretischer oder indikativer Beweiskraft zur Analyse der Programme herangezogen werden. Diese können aber nur Vorstufen sein bis zum eigentlichen Beleg eines kausalen Wirkungszusammenhangs. „Je niedriger die Entwicklungsstufe ist, desto freier können die Evaluationskonzepte gewählt werden. Für den Nachweis der Wirksamkeit auf der kausalen Ebene kommen nur die Evaluationsansätze in Frage, die auch kausale Aussagen erlauben.“(3)
Entsprechend werden die aufgenommenen Programme anhand einer Reihe von Kriterien – neben Konzept- und Umsetzungsqualität sind das Evaluationsniveau, Beweiskraft und Evaluationsergebnisse – in drei Kategorien eingeordnet:
- Effektivität theoretisch gut begründet
- Effektivität wahrscheinlich
- Effektivität nachgewiesen
Ein solch differenzierter Ansatz stünde der gegenwärtigen Wirkungsdebatte insgesamt gut an. Er sollte Maßstab sein für alle, die derzeit über Wirksamkeit sprechen. Denn genauso klar, wie Wirkung nur dort behauptet werden kann, wo sie kausal nachgewiesen ist, ist es klar, dass viele Organisationen kaum jemals in der Lage sein werden, eindeutige Wirkungsnachweise zu liefern, etwa weil sie zu klein sind.
In diesen Fällen sollten Förderer aufhören, Wirkungsbelege einzufordern, wo es keine geben kann, oder von Wirkungsnachweisen zu berichten, obwohl schlichtweg keine vorhanden sind. Stattdessen sollten sie Organisationen in ihrer Entwicklung unterstützen, damit diese baldmöglichst „ihre Annahmen über Wirkungszusammenhänge expliziter formulieren, damit sie (…) Tests [mit kausaler Beweiskraft] unterzogen werden können“(3). Oder eben anerkennen, dass sie auf guten Glauben hin eine Organisation fördern, die strukturell nicht in der Lage ist, ihre Wirkung nachzuweisen.
Wenn das Ziel ist, einen Wirksamkeitsnachweis im Rahmen eines wissenschaftlich anerkannten Untersuchungsdesigns zu erbringen, halten wir den Begriff „Wirkungsmessung“ für sinnvoll. Alles, was einer wissenschaftlichen Betrachtung jedoch nicht standhält, weil kein Kausalitätsnachweis vorliegt, muss anders benannt werden. Hier hilft vielleicht der Begriff „Wirkungsorientierung“ weiter – als Beschreibung der Ausrichtung einiger sozialer Organisationen, die etwa bereits Ziele definiert haben, auf deren Grundlage man eine Wirkungsmessung anstellen könnte. Eine solche wirkungsfreundliche Haltung allein rechtfertigt aber nicht – ebenso wenig wie eine wirkungsnahe Organisations- und Prozessstruktur – die Aussage „Das Programm wirkt!“ Man würde schließlich auch nicht behaupten, dass jemand, der gerne irgendwann einmal Energie sparen möchte, tatsächlich schon jetzt einen Beitrag zum Klimaschutz leistete.
Doch selbst wenn die Wirkungsmessung erfolgreich ist und ein Programm nachweisen kann, dass es tatsächlich die angestrebten positiven Effekte erzielt, bleibt noch eine weitere entscheidende Frage zu beantworten: Werden denn die Wirkungen auch zu vertretbaren Kosten erreicht? Denn die Frage, wie können wir möglichst viele Menschen möglichst gut erreichen, ist angesichts begrenzter Ressourcen immer auch die Frage danach, ob wir diese Wirkung mit so wenig Geld wie möglich erreichen.
Erst wenn beide Fragen beantwortet sind, die Frage nach der Wirkung und die Frage nach den Kosten je erzielter Wirkung, ist die Grundlage dafür geschaffen, dass öffentliche wie auch private Förderer Entscheidungen treffen auf Basis fundierter Evidenz statt auf Basis von freundlichen Halluzinationen. Dann wäre der Weg frei für eine Welt, in der nur der über Wirkung sprechen darf, der Wirkung nachweisen kann, und dafür dann die Förderung erhält, die seine Arbeit verdient.
Quellen
(1) see (within the German context): Phineo gAG (ed.) (2015): Kursbuch Wirkung. 3. Auflage, p. 5 (https://www.phineo.org/fuer-organisationen/kursbuch-wirkung); Social Reporting Initiative e.V. (ed.), Präsentation „SRS Workshop“, slide 10 (http://www.social-reporting-standard.de/srs-materialien/srs-foliensatz/)
(2) Veermann, J.W., van Yperen, T.A. (2007): Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care, Evaluation and Program Planning 30, p. 212 – 221
(3) Landespräventionsrat Niedersachen (ed.) (2011): Grüne Liste Prävention. Auswahl- und Bewertungskriterien für die CTC Programm-Datenbank, p. 8 (http://www.gruene-liste-praevention.de/communities-that-care/Media/Grne_Liste_Bewertungskriterien.pdf)
Dieser Artikel wurde ursprünglich von der Benckiser Stiftung Zukunft veröffentlicht. Willst du mehr Artikel dieser Art lesen? Dann schau mal auf dem Z Blog vorbei.
