Evaluation eines Qualitätsentwicklungsprojekts in den Frühen Hilfen.

Einleitung

Vor dem Hintergrund der Ressourcenknappheit der öffentlichen Haushalte und des ständig steigenden Kostendrucks gilt die Forderung des Nachweises von Effektivität und Effizienz sowie der Qualitätsentwicklung in Form von Evaluationen immer mehr auch für Maßnahmen aus dem Bereich der Public Health, in dem sich das hier vorgestellte Programm der Qualitätsdialoge Frühe Hilfen (QDFH) bewegt (vgl. Waldherr et al., 2014).

Evaluation und Evidenzbasierung sind also »state of the art«. Sie dienen der Legitimation von Projekten und rechtfertigen deren Finanzierung. Zudem bieten sie wertvolle Hinweise für Nachsteuerungen bereits während der Projektlaufzeit oder für Folgeprojekte. Sie kommen den Forderungen politischer Entscheider nach »harten Fakten« und Wirksamkeitsbelegen nach.

Unter Evaluation verstehen wir empirische Methoden zur Informationsgewinnung und systematische Verfahren zur Informationsbewertung anhand offengelegter Kriterien, die eine intersubjektive Nachprüfbarkeit der Ergebnisse ermöglichen (Stockmann, 2004, S. 2).

In diesem Beitrag soll das Evaluationskonzept des Projekts QDFH erläutert und erste Ergebnisse der Evaluation vorgestellt werden. Hierzu wird zunächst der Untersuchungsgegenstand beschrieben und damit auch der Gegenstand der Evaluation festgelegt. Hieraus und aus dem Projektauftrag ergeben sich die Ziele der Evaluation. Im Fokus des Beitrags steht jedoch das Wirkungsmodell. Dieses wird aus der Theory of Change abgeleitet. Es wird anschließend durch Rückbezüge auf Evaluationsgegenstand und -ziele mit konkreten Inhalten angereichert und dient dann als Blaupause zur Ermittlung von Effekten der Maßnahmen.

Die Darstellung der Umsetzung der Evaluation und die Präsentation erster Ergebnisse schließen den inhaltlichen Teil des Beitrags ab. Anhand der Ergebnisse wird die Qualität des Wirkungsmodells und dessen Nutzen für die Evaluation diskutiert.

Untersuchungsgegenstand: Qualitätsdialoge Frühe Hilfen

Das Projekt QDFH wurde 2018 ins Leben gerufen, um eine qualitätsgesicherte Weiterentwicklung von Strukturen in den Frühen Hilfen umzusetzen. Das Anliegen des Nationalen Zentrums Frühe Hilfen (NZFH) war es, kommunale Akteure in den Frühen Hilfen zu unterstützen.

Leitziele der QDFH sind:

• Unterstützung der Kommunen bei der Verbesserung der Qualität der Frühen Hilfen vor Ort,
• Ausbau der Kompetenzen zur Qualitätsentwicklung (QE) und Selbstevaluation,
• Erprobung von Praxismaterialien und Methoden zur QE auf Basis des Qualitätsrahmens¹,
• Anstoß einer familienfreundlichen Weiterentwicklung der kommunalen Infrastruktur unter Berücksichtigung der Elternperspektive,
• Überarbeitung des Qualitätsrahmens Frühe Hilfen auf Basis der gewonnenen Erfahrungen und der Ergebnisse der Evaluation,
• Weiterentwicklung von QE-Strategien auf Basis der gewonnenen Erfahrungen und der Ergebnisse der Evaluation,
• Veröffentlichung der erarbeiteten Praxismaterialien und Methoden für dialogische Qualitätsentwicklung Früher Hilfen auf Basis der gewonnenen Erfahrungen und der Ergebnisse der Evaluation.

Das Projekt wurde in Kooperation mit 23 Kommunen und Landkreisen durchgeführt, die das NZFH während des gesamten Prozesses begleitet und beraten hat. Während der dreijährigen Laufzeit (2019 bis 2021) wurde das Projekt durch das Institut für Sozialforschung, Praxisberatung und Organisationsentwicklung (iSPO) wissenschaftlich begleitet, um eine unabhängige Evaluation zu gewähr leisten.

Der Evaluationsgegenstand der wissenschaftlichen Begleitung sind demnach sämtliche Aktivitäten und Angebote des NZFH, die den Akteuren der Netzwerke Frühe Hilfen der teilnehmenden Kommunen im Rahmen der QDFH zur Verfügung gestellt werden, um die Ziele der QDFH zu erreichen (vgl. Schäffer, 2021). Im Zentrum der Evaluation stehen folglich die teilnehmenden Akteure der Netzwerke Frühe Hilfen als direkte Zielgruppe der QDFH.

Aus dem Evaluationsgegenstand und dem Programm lassen sich die grundlegenden Ziele der Evaluation bzw. der wissenschaftlichen Begleitforschung ableiten:

• den Qualitätsentwicklungsprozess sowie dessen Voraussetzungen in den Kommunen unabhängig und objektiv zu beschreiben,
• mögliche Veränderungen festzustellen, die sich während des Prozesses ergeben, sowie
• Ansatzpunkte/Empfehlungen für Anpassungen und Verbesserungen als Beitrag zur Nachhaltigkeit der QDFH und zum Transfer in anderen Kommunen zu identifizieren.

Hierzu werden u. a. Gelingensbedingungen für die dialogische Qualitätsentwicklung in den kommunalen Netzwerken identifiziert.

Methodische und theoretische Grundlagen der Evaluation

Theoretische Grundlage: Theory of Change (Veränderungsmodell)

Grundlage des Forschungsdesigns und damit der Methodik der Evaluation ist die Theory of Change (ToC). Sie geht von dem Grundgedanken aus, dass durch die in einem Programm oder Projekt umgesetzten Maßnahmen bei der Zielgruppe auf verschiedenen Ebenen Veränderungen angeregt werden. Zentrale Aufgabe der Begleitforschung ist es, auf der Basis dieses Veränderungsmodells über den Programmverlauf hinweg festzustellen, welche Veränderungen während der Teilnahme an den QDFH zu beobachten sind und inwiefern sie auf die verschiedenen Programmaktivitäten zurückgeführt werden könnten.

Die Theory of Change wurde ab Mitte der 1990er-Jahre vom Aspen Institute genutzt, um die Qualitätsentwicklung in Kommunen voranzubringen (vgl. Weiss, 1998). Am Beispiel kommunaler Initiativen zur Förderung von Kindern und Familien konnte gezeigt werden, dass die ToC den partizipativen Planungs- und Bewertungsprozess der kommunalen Partnerinnen und Partner effektiv unterstützt.

In der ToC werden zunächst höhere bzw. langfristige Ziele definiert bzw. aus »Visionen« abgeleitet. Nun einigen sich die Beteiligten auf hierarchisch geordnete und logisch hergeleitete Vorbedingungen, die zunächst realisiert sein müssen, um die anvisierten Ziele zukünftig zu erreichen. Der Erfolg der Intervention wird anschließend vor allem daran bemessen, inwieweit die einzelnen Vorbedingungen erfüllt sind (vgl. Taplin & Clark, 2012).

Im Wording der ToC heißen höhere Ziele »Impact«, Zwischenziele »Outcomes«, Handlungen und Maßnahmen, die zu Outcomes führen, heißen »Output«. Die Entwicklung des Modells erfolgt dabei vom gewünschten Ziel, dem Impact, ausgehend rückwärts. Somit verläuft die Entwicklungsrichtung des Wirkmodells spiegelbildlich zu konventionellen »Wenn-dann«-Überlegungen, ohne jedoch auf die Logik kausaler Beziehungen zu verzichten.

Eine besondere Stärke der ToC ist ihr Potenzial, der Komplexität bevölkerungsbasierter Interventionen gerecht zu werden. Aus diesem Grund ist sie inzwischen das bevorzugte Leitmodell für die Planung und Evaluation größerer Vorhaben im Public-Health-Bereich (vgl. Breuer, Lee, De Silva & Lund, 2015). Innerhalb des NZFH wird die ToC auch zur Planung, Strukturierung und Kommunikation der wissenschaftlichen Begleitung der Bundesstiftung Frühe Hilfen genutzt (vgl. Paul, Backes, Renner, & Scharmanski, 2018; Renner, Scharmanski, Paul & NZFH, 2018).

Methodische Grundlage: Das Wirkungsmodell

Ausgehend von der Grundannahme der Theory of Change, dass durch geplante Interventionen bestimmte intendierte Veränderungen erzielt werden, sind Wirkungsmodelle eine geeignete (und in einer Vielzahl von Evaluationen des iSPO-Instituts erprobte und bewährte) methodische Grundlage zur Umsetzung einer Evaluation. Sie konkretisieren die Grundannahmen der ToC, indem sie kausale Bezüge zwischen verschiedenen Aspekten der Intervention (konkrete Maßnahmen, Angebote, Förderaktivitäten, Veranstaltungen etc.) und den Wirkungen herstellen, die durch sie hervorgerufen werden sollen.

Das in der Evaluation der QDFH genutzte Wirkungsmodell (Abbildung 1) lehnt sich an die von Phineo entwickelte »Wirkungstreppe« an (vgl. Kurz & Kubek, 2021, S. 7). Da das vollständige Wirkungsmodell der QDFH für eine Darstellung in diesem Beitrag zu komplex und ausdifferenziert ist, soll seine Grundidee hier nur kurz anhand der Wirkungstreppe erläutert werden.

Wie bei der ToC allgemein ist auch ihre Grundlogik die Unterscheidung zwischen Output-, Outcome- und Impact-Ebenen. In der Wirkungstreppe sind diese drei Ziel- bzw. Wirkungsebenen jedoch weiter ausdifferenziert. Sie bietet somit präzisere Möglichkeiten zur Ziel- und Wirkungsdefinition als die ToC. Im Wesentlichen werden Wirkungen bei der Wirkungstreppe immer ausgehend von der Zielgruppe der Interventionen gedacht und formuliert. Die ersten drei Output-Ebenen vertreten im Grunde die (projektimmanenten) Vorbedingungen, die (nach der Logik der ToC) gegeben sein müssen, damit Wirkungen im eigentlichen Sinne, also Veränderungen bei der Zielgruppe, entstehen können.

Auf der ersten Stufe der Output-Ebene geht es deshalb darum, welche »Leistungen« der Zielgruppe – hier die teilnehmenden Akteure der kommunalen Netzwerke Frühe Hilfen – angeboten oder zur Verfügung gestellt werden. Auf der zweiten Output-Treppenstufe ist eine erste erwünschte »Wirkung«, dass die Zielgruppe die angebotenen Leistungen auch tatsächlich nutzt. Stufe 3 schließlich (wir sind immer noch auf der Output-Ebene) betrifft die Zufriedenheit der Zielgruppe mit den Angeboten. Wichtig hierbei: Angebote, die von der Zielgruppe nicht (entsprechend ihren Erwartungen und Maßstäben!) positiv bewertet werden, haben nur geringe Chancen, bei ihr weitergehende (Outcome-)Wirkungen zu erzielen.

Die angestrebten Veränderungen bei den teilnehmenden Akteuren der Kommunen werden auf den drei Outcome-Treppenstufen abgebildet. Zunächst sollen gemäß einem der Leitziele der QDFH Kompetenzen zur Qualitätsentwicklung erworben bzw. ausgebaut werden. Das Gelingen des Kompetenzerwerbs bzw. -ausbaus ist die Voraussetzung dafür, dass auch auf der Handlungsebene Veränderungen eintreten können (Stufe 5 der Wirkungstreppe). Auf dieser Wirkungsebene ist das Ziel, dass die teilnehmenden Akteure ihre neu erworbenen oder ausgebauten Kompetenzen in ihre Netzwerke Frühe Hilfen transferieren und dort im Rahmen der QE-Aktivitäten des Netzwerks umsetzen.

Mit der Umsetzung der QE-Kompetenzen sind jedoch weitergehende Wirkungsziele verbunden. Mit Blick auf die eigentliche Zielgruppe der Frühen Hilfen – Kinder von null bis drei Jahren, insbesondere aus Familien mit psychosozialen Unterstützungsbedarfen – soll es durch die Impulse der QDFH in den teilnehmenden Kommunen gelingen, die Angebote der Frühen Hilfen für Eltern und Kinder insgesamt weiterzuentwickeln. Qualitätsmaßstab ist die Orientierung an den Bedarfen der Familien und Kinder. Hier mit – so das übergeordnete Wirkungsziel auf der obersten Wirkungsstufe – soll letztlich die Wirksamkeit der Frühen Hilfen insgesamt optimiert werden und damit die Entwicklungsmöglichkeiten von Kindern und Familien mit Unterstützungsbedarf.

¹ Der Qualitätsrahmen Frühe Hilfen versteht sich als ein Beitrag zu einem dialogisch und partizipativ gestalteten Qualitätsentwicklungsprozess in den Kommunen: www.fruehehilfen.de/fileadmin/user_upload/fruehehilfen.de/
pdf/Publikation_NZFH_Kompakt_Beirat_Qualitaetsrahmen_Fruehe_Hilfen.pdf

Erste Evaluationsergebnisse QDFH

Die ersten Evaluationsergebnisse der QDFH beziehen sich auf einen Zeitpunkt im Projektverlauf, zu dem noch nicht alle geplanten Aktivitäten der QDFH umgesetzt waren. Sie konnten allein schon deshalb noch nicht ihre volle Wirksamkeit entfalten. Zudem war ihre Umsetzung nach Einschätzung der Teilnehmenden durch die COVID-19-Pandemie stark beeinträchtigt worden. Am gravierendsten wurde hierbei empfunden, dass keine Präsenzveranstaltungen der QDFH mehr möglich waren und dass der Transfer der Ergebnisse in die kommunalen Netzwerke erschwert war. Aber auch nach dem Ende der Projektlaufzeit im Juni 2021 ist es noch nicht realistisch, Wirkungen auf allen Ebenen der Wirkungstreppe zu erwarten. Etwa ab Stufe 5 der QDFH Wirkungstreppe – also der Umsetzung der ausgebauten QE-Kompetenzen in den Kommunen – ist es auch eine Frage der internen Abläufe in den kommunalen Netzwerken, wann mit der Umsetzung begonnen wird. Hiervon wiederum hängt unmittelbar ab, wann sich tatsächlich qualitative Weiterentwicklungen im Angebotsspektrum der Frühen Hilfen nachweisen lassen.

Trotz dieser vor allem zeitlich bedingten Einschränkungen lässt sich bereits mit den ersten Evaluationsergebnissen belegen, dass die QDFH im Sinne der Zielsetzungen und Ergebniserwartungen der Teilnehmenden angestrebte Effekte erzielen. Diese sind wie zu erwarten am stärksten auf der Wirkungsebene »Ausbau der QE-Kompetenzen« ausgeprägt (Abbildung 3). Bemerkenswert ist, dass sich auch weitergehende Wirkungen bereits abzeichnen oder von den teilnehmenden Akteuren in den Kommunen antizipiert werden, die sich u. a. direkt auf die Umsetzung der QE-Impulse aus den QDFH beziehen (Abbildung 4). Insgesamt zeichnet sich also bereits zu einem frühen Bewertungszeitpunkt ein hohes Wirkungspotenzial der QDFH ab.

Fazit und Diskussion

Auch in der Evaluation der QDFH hat sich das Modell der Wirkungstreppe (und das auf ihm basierende, ausdifferenzierte Wirkungsmodell) als geeignete methodische Grundlage zur Spezifizierung der Projektmaßnahmen und der mit ihnen intendierten Wirkungen erwiesen. Wie jedes Modell hat auch dieses Vor- und Nachteile. Ein Vorteil ist, dass es im Vergleich zum Goldstandard der Wirkungsmessung von Interventionen, der randomisierten kontrollierten Studie, gut im Feld einsetzbar und der Erhebungs- und Auswertungsaufwand wesentlich geringer ist.

Ein weiterer Vorteil ist die gute Nachvollziehbarkeit der Wirkungszusammenhänge durch die Programm- und Praxisakteure, auch ohne tiefgehendes theoretisches Vorwissen. Die auf dieser Grundlage generierten Evaluationsergebnisse besitzen deshalb in der Regel eine hohe Praxisrelevanz.

An seine Grenzen stößt das Modell, wenn es etwa darum geht, den Einfluss von Drittvariablen für die Zielerreichung zu messen. Externe Rahmenbedingungen, die sich förderlich oder hinderlich auf das Erreichen der Wirkungsziele auswirken können, sind in ihr nicht abgebildet. Ihre kausale Bedeutung für das Erreichen der Wirkungsziele kann hier nur geschätzt werden, denn im Unterschied zu einer randomisierten kontrollierten Interventionsstudie sind diese nicht Bestandteil der Berechnungen.

Ein weiteres Manko ist, dass aufgrund der Spezifität der Wirkungsziele und Messindikatoren in der Regel keine inferenzstatistischen Verfahren angewendet werden können. Durch das Fehlen von induktiver Statistik lassen sich die Ergebnisse der Evaluation deshalb nicht verallgemeinern oder auf eine Grundgesamtheit übertragen.