Читать книгу: «Evaluation in der Sozialen Arbeit», страница 2

Verbindung zur Qualitätsentwicklung

Zu 5:

Dass im Gefolge der Qualitätsdiskussion in der Sozialen Arbeit (Merchel 2013) auch die Evaluation immer stärker in den Blick genommen wurde, ist kein Zufall. Denn „Evaluation ist untrennbar mit Qualitätssicherung und Qualitätsentwicklung verbunden“ (Böttcher et al. 2006, 7). Der Zweck, für den die Akteure die Mühe der Evaluation auf sich nehmen, besteht primär darin, genauere Informationen zur Bewertung der Qualität von Arbeit und Hinweise für eine gezielte Verbesserung von Strukturen, Prozessen und Ergebnissen des Handelns zu erhalten. Zwar ist nicht bei jeder Evaluation explizit das Thema „Qualität“ angesprochen, jedoch spielen Aspekte der Qualität implizit immer eine Rolle, auch dann, wenn „lediglich“ im Rahmen einer Konzeptevaluation Erwartungen von Interessenträgern erfragt werden oder eine Evaluation nicht präzise in die methodische Abfolge einer systematisierten Qualitätsentwicklung eingebunden wird. Der Bezug zum Thema „Güte der Arbeit“ ist immer vorhanden. Umgekehrt ist jede Form des Qualitätsmanagements auf Evaluation angewiesen: Eine systematische Überprüfung und eine gezielte Weiterentwicklung von Strukturen und Prozessen bedürfen einer Bewertung des Bestehenden und der Auswirkungen von Maßnahmen zur Weiterentwicklung der Qualität durch Daten. Insofern benötigt jedes tragfähige Qualitätsmanagement Evaluation. Auch dann, wenn das Qualitätsmanagement vorwiegend in einer Standardisierung von Verfahrensweisen liegt (wie z. B. beim Qualitätsmanagement nach DIN ISO; Merchel 2013, 79 ff, 141 ff), benötigt man Informationen darüber, ob und wie die Verfahrensstandardisierungen von den Mitarbeitern angewendet werden, mit welchen Schwierigkeiten die Anwendung verbunden ist, in welchen Fällen die Standards differenziert werden müssen, ob Verfahrensstandards mit problematischen Nebenwirkungen (z. B. äußerlicher Ritualisierung) verbunden sind (Merchel 2018a, 297 ff.) etc.; zur Erlangung solcher Informationen, wenn sie nicht nur „zufällig“ eingesammelt werden sollen, ist man auf Evaluation angewiesen. Evaluation und Qualitätsmanagement sind also nicht identisch, aber Evaluation ist mit Qualitätsmanagement eng verbunden, sie ist eine methodische Voraussetzung für ein gutes Qualitätsmanagement. Die Verbindung zwischen beiden ist so intensiv, dass man (anders als z. B. Stockmann 2006b, 83 ff, der auf ein sehr enges Konzept von Qualitätsmanagement rekurriert) die gemeinsamen Intentionen und die methodisch-instrumentelle Verkoppelung stärker gewichten sollte als die Unterschiedlichkeit in der Herkunft beider Ansätze.

Zusammenfassend kann man Evaluation somit charakterisieren als ein – in der Regel organisational verankertes – systematisiertes und transparentes Vorgehen der Datensammlung zu einem bestimmten Gegenstandsbereich / Sachverhalt mittels intersubjektiver und gültiger Erhebungsverfahren, das auf der Basis vorher formulierter Kriterien eine genauere Bewertung des Gegenstands / Sachverhalts ermöglichen und in der Praxis verwertbare Diskussions- und Entscheidungshilfen zur Verbesserung bzw. Weiterentwicklung des untersuchten Gegenstands / Sachverhalts liefern soll. (Böttcher et al. 2006, 9; Lüders / Lüders 2004, 318; Kromrey 2000, 22; Stockmann / Meyer 2010, 64 ff)

1.2 Evaluation zwischen methodischem Handeln und Evaluationsforschung

Evaluation als ein methodischer Ansatz zur systematischen Bewertung von Gegenständen bzw. Sachverhalten mit praktischer Absicht muss sich positionieren zwischen zwei konzeptionellen Vorstellungen, die ebenfalls im Evaluationsbegriff enthalten sind: einem Verständnis, das Evaluation als einen „normalen“ Bestandteil jedes professionellen Handelns ansieht, und einer Konzeptionsvorstellung, die Evaluation als eine Form sozialwissenschaftlicher Forschung versteht und mit Evaluationsforschung gleichsetzt. Das Schwierige für eine Positionsfindung zwischen diesen beiden Verständnissen von Evaluation liegt darin, dass eine „Evaluation in pragmatischer Absicht“, wie sie in diesem Buch zugrunde gelegt wird, einerseits Elemente der beiden Verständnisse in sich aufnimmt und andererseits spezifische Akzente setzt, in denen sie sich von ihnen unterscheiden muss.

Bewertung als Teil professionellen Handelns

Dass eine Bewertung von Strukturen, Prozessen und Ergebnissen zu einer professionellen Handlungsweise gehört, leuchtet unmittelbar ein. Das legt es nahe, Evaluation als einen integralen Bestandteil von methodischem Handeln zu konzipieren. So verweist Müller (2009) darauf, dass Evaluation ein unerlässlicher Bestandteil einer professionellen Fallbearbeitung ist,

„unabhängig davon, ob sie als besonderer Handlungsschritt mit besonderen Mitteln organisiert wird oder nur als Teilfunktion der Kontrolle in andere Schritte einfließt. Immer aber heißt Evaluation, zu prüfen, ob das Handeln der Professionellen verantwortlich genannt werden kann.“ (75; ähnlich Michel-Schwartze 2002, 155 ff)

Während in anderen Veröffentlichungen zum methodischen Handeln Evaluation entweder als ein spezifischer Arbeitsschritt mit eigenen methodischen Anforderungen definiert wird (v. Spiegel 2018, 132 ff) oder der diesbezügliche Status von Evaluation offen gelassen wird (Galuske 2009), wird Evaluation in dem Zitat von Müller nicht mehr notwendigerweise als ein eigener Handlungsschritt angesehen. Es wird nahegelegt, dass jegliche Form der Prüfung, ob „das Handeln der Professionellen verantwortlich genannt werden kann“, als Bewertungsvorgang mit dem Etikett „Evaluation“ versehen werden kann. Die Ausdifferenzierung als eigener methodischer Arbeitsschritt wird als ein Definitionselement für Evaluation für nicht erforderlich gehalten. Evaluation wird verstanden als ein integraler Bestandteil professionellen methodischen Handelns, egal in welcher Form die Prüfungs- und Bewertungsvorgänge stattfinden. Ein solches Verständnis macht es jedoch schwierig, Evaluation gegenüber anderen Handlungselementen abzugrenzen. Es führt zu dem zu Beginn dieses Kapitel angesprochenen Problem der Bedeutungsdiffusität und der Verleitung zu sprachlicher Ungenauigkeit: Wenn jedes kollegiale Gespräch über die Angemessenheit von Handlungsschritten oder jede Nutzerstatistik im Jahresbericht zur „Evaluation“ geadelt werden kann und wenn jede Einrichtung für sich in Anspruch nehmen kann, irgendetwas zu tun, was sie mit dem Namen „Evaluation“ belegen kann, wird der Begriff sinnlos und verliert seine methodischen Herausforderungen, die er jedoch transportieren muss, wenn er wirkungsvoll zur Herausbildung und Stärkung von Professionalität in der Sozialen Arbeit beitragen soll.

Falsche Gleichsetzung mit Evaluationsforschung

Auf der anderen Seite steht das Faktum, dass in einem Großteil der themenbezogenen Veröffentlichungen Evaluation als Evaluationsforschung verstanden bzw. mit dieser gleichgesetzt wird. Was Heiner in ihrem im Jahr 2001 erschienenen Handbuch-Artikel zur mangelnden Differenzierung vermerkte, gilt für einen Großteil der Veröffentlichungen immer noch: „In deutschsprachigen Lehrbüchern werden ‚Evaluation‘ und ‚Evaluationsforschung‘ meist synonym verwendet. Evaluation wird damit auf Forschung reduziert.“ (2001a, 481; als Belege u.a. Stockmann 2007; Stockmann / Meyer 2010; Böttcher et al. 2006, 9 f; Kuper 2005) Die Identifizierung von Evaluation als einem Modus sozialwissenschaftlicher Forschung und die begrenzte Ausrichtung an einem forschungsorientierten Evaluationsverständnis münden dann bisweilen ein in eine Schelte gegenüber der „Laienevaluation“, also gegenüber einer Evaluation, die von Nicht-Sozialwissenschaftlern oder von Personen ohne sozialwissenschaftlich-methodische Forschungserfahrung durchgeführt wird (Stockmann / Meyer 2010, 49 f). Solche Kritik mag einerseits berechtigt sein und produktiv wirken, weil damit vor einem allzu leichtfertigen Umgang mit Evaluationsmethoden gewarnt wird. Auch eine stärker in der Praxis verankerte Evaluation benötigt einen kompetenten Umgang mit Evaluationsmethoden, um differenzierte und für die Praxis brauchbare Ergebnisse erzeugen zu können. Andererseits geht eine undifferenzierte Verkoppelung von Evaluation und Forschung in eine problematische Richtung, weil gerade die Forderung, dass Akteure ihre beruflichen Handlungen und die Folgen ihres beruflichen Alltagshandelns systematisch untersuchen und die Ergebnisse dieser Untersuchungen zur gezielten Verbesserung ihres Alltagshandelns einsetzen sollen, auf eine methodische Qualifizierung der „Laien“ setzt, ohne dass diese gleich zu „forschungskompetenten Evaluationsexperten“ werden müssen. Evaluation ist insofern ein „wissenschaftliches“ Vorgehen, als es sich um eine systematische, nach methodischen Regeln erfolgende, ergebnisoffen angelegte Erhebung und Auswertung von Daten handelt, die nach transparenten Gütekriterien überprüfbar sein müssen und damit als Grundlage für einen Bewertungsprozess herangezogen werden können. Aber je stärker Evaluation in die Praxis von Organisationen und ihren Akteuren hineinreicht, desto deutlicher muss in den Blick genommen werden, dass Evaluation sich partiell vom Forschungsvorgehen unterscheidet: Die Evaluationslogik ist dann nicht mehr allein im Hinblick auf Forschungsvorgehen zu legitimieren, sondern auch auf die Anforderungen der Praxis und die organisationale Einbindung der Evaluation. Auch als Gütekriterien sind dann nicht allein die üblichen sozialwissenschaftlichen Normen (Validität, Reliabilität, Objektivität …) maßgeblich (vgl. Kap. 7).

Anspruch: Herstellen von Plausibilität

Neben der engen Ausrichtung an Gütekriterien sozialwissenschaftlicher Forschung unterscheidet sich Evaluationsforschung in einem weiteren Aspekt von (mit Praxis verwobener) Evaluation: Evaluationsforschung verbindet sich mit dem Anspruch, nicht nur Wirkungen und Nebenwirkungen zu erheben und festzustellen, sondern darüber hinaus auch die wesentlichen Wirkfaktoren möglichst präzise herauszuarbeiten. Evaluationsforschung folgt einem kausalanalytischen Anspruch: Im Grundsatz sollen Wirkungsmechanismen erforscht und erkannt werden (Kromrey 2005, 45 ff; 2000, 40 ff). Demgegenüber verbleibt dieses Bemühen bei „praxisbezogener Evaluation“ auf der Ebene der Herstellung von Plausibilität: Die Feststellung von Wirkungen und Nebenwirkungen steht im Mittelpunkt, und es ist gut, wenn für die Erörterung möglicher Hintergründe durch die Evaluation Anhaltspunkte sichtbar werden, die die Debatte anregen. Der Anspruch hinsichtlich der Präzision bei der Herausarbeitung von Wirkungsfaktoren ist bei „praxisbezogener Evaluation“ also weitaus begrenzter als bei der Evaluationsforschung.

Forschung und Distanz zum Alltagshandeln

Die Differenz zwischen Evaluation und Evaluationsforschung steht u. a. im Zusammenhang mit der Verwendung des Begriffs „Forschung“ in der Alltagssprache. Wenn von „Forschung“ die Rede ist, wird eine deutliche Distanz zum Alltagshandeln impliziert: Das Alltagshandeln wird schließlich zum Gegenstand, zum Objekt der Forschung, woraus folgt, dass man methodisch eine relativ starke Distanz zum Alltagshandeln einnehmen muss, um einen „Forscherblick“ herauszufordern und zu gewährleisten. Die personelle Trennung zwischen Handlungs- und Forschungsakteuren wird in der Regel als Voraussetzung für eine „objektive Forschung“ angesehen. Diese Trennung ist bereits in den – mittlerweile in Vergessenheit geratenen – Ansätzen der Aktionsforschung und der sozialwissenschaftlichen „Praxisforschung“ (Moser 1995; 1975) durchbrochen worden. Bei der praxisbezogenen Evaluation ist das Durchlöchern dieser Grenzziehung noch deutlicher: Auch hier bildet eine Distanzierung vom Alltag eine wichtige Voraussetzung für das Erzielen aussagefähiger und praktisch verwertbarer Evaluationsergebnisse, jedoch ist die Intensität der Distanz deutlich geringer als im sozialwissenschaftlichen Forschungskontext. Weil sich bei praxisbezogenen Evaluationen zwischen Alltag und Evaluationsaktivitäten keine so intensive Distanz herausbildet, also eine Trennung zwischen Handelnden und Forschenden nicht so deutlich vorgenommen wird, wäre hierfür der Begriff „Evaluationsforschung“ nicht sinnvoll. Mit den Konnotationen zum Forschungsbegriff im alltäglichen Sprachgebrauch würden Evaluationen, die nahe am Handlungsalltag angesiedelt sind, nicht adäquat abgebildet. Auch wenn solchen Evaluationen insofern eine im Grundsatz „wissenschaftliche Ausrichtung“ zugesprochen werden muss, als sie systematisch vorgehen und dabei Methoden und Instrumente aus der Sozialwissenschaft anwenden und sich somit gegenüber einem rein alltagsbezogenen „Bewerten“ abheben, sollte wegen der angesprochenen Unterschiede zwischen Evaluationsforschung und Evaluation differenziert werden.

Methodische Arrangements in der Evaluation

Abbildung 1 verdeutlicht die unterschiedlichen methodischen Arrangements von Evaluation, und es markiert denjenigen Bereich, der in diesem Einführungsbuch als „Evaluation in der Sozialen Arbeit“ schwerpunktmäßig angesprochen wird.

Abb. 1: Methodische Arrangements in der Evaluation

Die im Alltag der Einrichtung eingebundenen Evaluationen und die vom Alltag deutlich distanzierten Evaluationsforschungen markieren zwei Pole, zwischen denen sich unterschiedliche methodische Arrangements von Evaluation verorten lassen. Die intensivste Einbindung in den Alltag weist die Selbstevaluation auf (Genaueres zu den Begriffen vgl. Kap. 3): Praxisakteure evaluieren ihre eigene Arbeit und sind somit gleichzeitig Evaluationsakteure. Bei der internen Evaluation setzt allmählich eine Rollendifferenzierung zwischen Praxis- und Evaluationsakteuren ein, auch wenn die Distanz der Evaluationsakteure zum Handlungsalltag noch relativ gering ist. Diese Distanz vergrößert sich, wenn externe Evaluationsakteure eingesetzt werden. Mit wachsender Distanz der externen Evaluationsakteure und geringer werdendem Einfluss der Alltagsakteure auf Konzept und Methoden der Durchführung nähert sich die Evaluation immer deutlicher dem Typus der vom Alltag distanzierten Evaluationsforschung. In diesem Einführungsbuch zur „Evaluation in der Sozialen Arbeit“ werden vornehmlich solche Evaluationsarrangements angesprochen, in denen noch eine relative Alltagsnähe zu der evaluierten Einrichtung besteht und bei denen die Alltagsakteure auch bei den externen Evaluationen einen relevanten Einfluss auf Konzept und Durchführung der Evaluation haben.

1.3 Gegenstände von Evaluation

Allgemein formuliert kann zum Gegenstand von Evaluation alles werden, bei dem etwas Materielles oder Immaterielles eingesetzt wird, um damit eine Veränderung bei einem gegebenen Zustand zu erreichen. Spezifischer im Hinblick auf Soziale Arbeit kann Evaluation sich auf folgende „Gegenstände“ richten und in folgenden Konstellationen auftreten:

Politikevaluation

• Politikevaluation: Untersucht und bewertet werden Prozesse und Auswirkungen politischen Handelns, z. B. die Umsetzung der Hartz IV-Gesetze, Umsetzung und / oder Auswirkungen der Einführung des §8a SGB VIII („Schutzauftrag bei Kindeswohlgefährdung“), das zu evaluierende Bundeskinderschutzgesetz (so in Art.4 Bundeskinderschutzgesetz ausdrücklich vorgeschrieben; Bundesgesetzblatt 2011, 2982; zu den Ergebnissen Seckinger et al. 2016) oder die Jugendhilfepolitik einer Stadt oder eines Kreises.

Programmevaluation

• Programmevaluation: Hier werden Maßnahmen, Angebote oder Interventionen zum Gegenstand der Evaluation, mit denen eine oder mehrere Organisationen bestimmte Ziele erreichen wollen. Zur Programmevaluation gehören z. B. die Evaluation eines Seminars oder einer Seminarreihe eines Trägers der außerschulischen Jugendbildung, die Evaluation der Hilfeplanung eines Jugendamtes, die Evaluation der Personalentwicklung in einer größeren Einrichtung, die Evaluation der offenen Ganztagsangebote an Schulen, die Evaluation eines Projektes zur verbesserten Beteiligung der Bewohner an der Alltagsstrukturierung in einer Wohnstätte für Menschen mit Behinderung oder die Evaluation eines neu eingeführten ergotherapeutischen Angebots für Menschen mit beginnender Demenzerkrankung in einem Seniorenwohnheim. Die Programmevaluation kann sich auf Programme unterschiedlicher Größe und Komplexität richten: von der Untersuchung einer eher marginalen Neuerung (z. B. Experimentieren mit einem neuen Spieltypus in einer Kindertageseinrichtung) über die Evaluation einer umfassenderen methodischen Veränderung in einer Organisation (z. B. Umstellung der Verfahren bei möglicher oder vermuteter Kindeswohlgefährdung in einem Jugendamt) bis hin zu markanten Veränderungsprogrammen mit breiter infrastruktureller Wirkungsabsicht (z. B. Modellprogramme zur Einführung neuer Hilfeformen in einem Arbeitsfeld, wie etwa Bildungspläne in Kindertageseinrichtungen oder „flexible Hilfen“ im Bereich der Erziehungshilfen).

Personalevaluation

• Personalevaluation: Im Mittelpunkt stehen Personen sowie deren Einstellungen, Kompetenzen und Handlungsweisen. Solche Evaluation können z. B. die Kooperationen zwischen Sozialarbeitern und Verwaltungsmitarbeitern in den Blick nehmen, die Eignung von Erzieherinnen oder Sozialarbeitern für bestimmte Aufgaben im Bereich der Erziehungshilfen, die Einstellungen von Fachkräften gegenüber Migranten im Allgemeinen Sozialen Dienst eines Jugendamtes oder die Kompetenzen von Heilerziehungspflegern, Heil- und Sozialpädagogen für einen aktivierenden Umgang mit Menschen mit Behinderungen.

Organisationsevaluation

• Organisationsevaluation: Bei dieser Variante der Evaluation werden systematisch Daten erhoben, um eine gesamte Organisation in den Strukturen, Prozessen und / oder Ergebnissen bewerten zu können. Unter dem Begriff „Organisation“ sollen hier solche sozialen, auf eine bestimmte Dauerhaftigkeit angelegten Gebilde verstanden werden, in denen Menschen im Rahmen einer formellen (in der Regel arbeitsteiligen) Struktur und in informellen Handlungsmustern koordiniert zusammenwirken, um bestimmte Ziele zu erreichen und / oder bestimmte Leistungen für ihre Umwelt zu erzeugen (zu unterschiedlichen Varianten im Verständnis von „Organisation“ Kieser / Ebers 2014; Preisendörfer 2016). Organisationsevaluationen können sich z. B. auf ein Jugendzentrum, die regionale Gliederung eines Wohlfahrtsverbandes oder eine Beratungsstelle richten. Solche Organisationsevaluationen erfordern in besonderer Weise eine Begrenzung auf zentrale Fragestellungen bzw. Kriterien, die der Evaluation zugrunde gelegt werden, da sonst die Evaluation in ihrer Komplexität ausufert. Und sie setzen ebenfalls eine Begrenzung in der Organisationskomplexität voraus: Kann man sich noch vorstellen, die Kreisgeschäftsstelle eines Wohlfahrtverbandes (z. B. des Caritasverbandes) unter zwei oder drei zentralen Kriterien zu evaluieren, so würde ein solches Ansinnen bei der „höchsten“ Gliederungsebene, der Bundesebene eines Wohlfahrtsverbandes, kaum mehr sinnvoll formuliert und nur schwer ausgeführt werden können.

Produktevaluation

• Produktevaluation: Materielle „Produkte“ als Gegenstand von Evaluation tauchen bei der Sozialen Arbeit nur selten auf. Denn die Soziale Arbeit besteht in ihrem Kern aus sozialen Dienstleistungen (Merchel 2015b, 65 ff), und nur selten erhalten materielle „Produkte“ eine solche Bedeutung, dass sie zu einem Gegenstand von Evaluation werden. Als Produktevaluation könnte z. B. die Untersuchung von Spielgeräten, von für Kinder verwendetem Mobiliar oder von Erzeugnissen einer Werkstatt für Menschen mit Behinderung gelten. Produktevaluationen, die dem von der „Stiftung Warentest“ bekannten Muster folgen, haben in der Sozialen Arbeit nur einen marginalen Stellenwert.

Schwerpunkt: Programmevaluationen

In der Sozialen Arbeit liegt der Schwerpunkt bei den Programmevaluationen. Im Mittelpunkt stehen die Aktivitäten (Maßnahmen, Angebote, Interventionen) von Organisationen, Gruppen, Teams oder einzelnen Akteuren. Untersucht und bewertet werden sollen deren strukturelle Voraussetzungen, deren Planung und / oder Umsetzung sowie die daraus resultierenden Ergebnisse, Wirkungen und Effekte. Politikevaluation vollzieht sich – wenn sie überhaupt stattfindet, was leider nur vereinzelt der Fall ist – in der Regel im Rahmen von Forschungsprojekten (Evaluationsforschung). Organisationsevaluationen sind sehr selten; sie werden bisweilen im Rahmen von Projekten zur Organisationsentwicklung initiiert (Merchel 2005; Schiersmann/ Thiel 2009): entweder zu Beginn eines solchen Prozesses im Rahmen der „Organisationsdiagnose“ oder am Ende eines Entwicklungszyklus, um Veränderungen in der Organisation zu erkunden. Personalevaluationen werden wegen der Hemmungen, Personen zum Gegenstand einer Untersuchung zu machen, kaum realisiert; wenn personenbezogene Aspekte im Rahmen von Evaluationen zur Sprache kommen, dann am ehesten bei der Auswertung der Ergebnisse von Programmevaluationen – in der Debatte darüber, ob und welche personellen Konstellationen möglicherweise als Hintergrund für die Ergebnisse bedacht werden müssen und an welchen Stellen der Konsequenzen aus den Evaluationsergebnissen personenbezogene Handlungsstrategien zur Verbesserung entworfen werden sollten.

Verschiedene Aspekte der Programmevaluation

Für die Programmevaluation, die in der Sozialen Arbeit den dominierenden Typus ausmacht, lassen sich verschiedene Aspekte differenzieren, die in unterschiedlicher Intensität in den konkreten Evaluationen zum Tragen kommen können. Nicht jeder der nachfolgend aufgeführten Aspekte muss in jeder Evaluation angesprochen werden, und manche Evaluation legt den Schwerpunkt auf nur eine Dimension oder gar einen Teilbereich dieser Dimension (Böttcher 2008, 893 f):

• Bedarfsbewertung: Hier sollen Fragen beantwortet werden hinsichtlich der Art der Probleme, auf die ein Programm einwirken soll – ob und welche Zielgruppe einen Bedarf hat, ob und wie weit Interventionen benötigt werden.

• Bewertung der Programmtheorie: Die Evaluation soll Antworten auf die Frage ermöglichen, ob die Interventionen auf angemessenen theoretischen Annahmen gründen, ob die Ziele des Programms adäquat verfasst worden sind (z. B. überhaupt evaluierbar formuliert worden sind) und ob die Ziele in einer angemessenen Verbindung zu den Interventionen stehen.

• Bewertung des Programmprozesses: Hier geht es um die Untersuchung und Bewertung der tatsächlichen operativen Prozesse – ob und wie weit die Durchführung mit dem geplanten Programm übereinstimmt, ob und welche Beeinträchtigungen durch externe Einmischungen oder durch interne Unstimmigkeiten stattgefunden haben, ob die Kooperationsbereitschaft der Akteure ausreichend war etc.

• Wirkungsmessung / Ergebnisevaluation: Die Evaluation legt offen, ob und in welchem Ausmaß die mit dem Programm erwünschten Ergebnisse erreicht wurden. Möglicherweise können durch die Evaluation auch Anhaltspunkte markiert werden, die eine Erörterung der Gründe für die Ergebnisausprägung anregen (z. B. im Hinblick auf die für die Soziale Arbeit erforderliche Bereitschaft zur „Koproduktion“ auf Seiten der Adressaten). Bei der Ergebnisevaluation sollte es nicht nur um die Erhebung von Daten zur beabsichtigten Wirkung gehen, sondern es sollten auch mögliche, nicht beabsichtigte Nebenwirkungen in den Blick genommen werden.

• Bewertung der Programmeffizienz: Dieser Evaluationsaspekt richtet sich auf das Verhältnis von Aufwand und Nutzen des Programms oder einzelner Phasen der Programmgestaltung. Dabei bedarf es der Wahrnehmung und der Abwägung zwischen verschiedenen Auffassungen beteiligter Akteure zu dem, was als „Aufwand“ im Rahmen eines Programms gelten soll und an welchen Parametern „Nutzen“ zu messen ist.

Für alle diese Gegenstände von Evaluation gilt selbstverständlich die Anforderung, die Kriterien bzw. Fragestellungen genau zu formulieren, die der jeweiligen Evaluation zugrunde gelegt wird. Denn jeder Gegenstand einer Evaluation kann immer nur unter bestimmten Gesichtspunkten untersucht und bewertet werden. Nur in Verbindung mit einem oder mehreren vor Beginn der Evaluation formulierten Kriterien oder Fragestellungen erhält eine Evaluation die Richtung, durch die ihre Ergebnisse brauchbar werden können. Die Bestimmung des Gegenstandes und die Eingrenzung auf bestimmte Kriterien oder Fragestellungen gehören also zusammen, um der Evaluation eine tragfähige Richtung zu geben.

1.4 Zusammenfassung in Leitsätzen

• Bei „Evaluation“ handelt es sich um ein – in der Regel organisational verankertes – systematisiertes und transparentes Vorgehen der Datensammlung zu einem bestimmten Gegenstandsbereich / Sachverhalt mittels intersubjektiver und gültiger Erhebungsverfahren, das auf der Basis vorher formulierter Kriterien eine genauere Bewertung des Gegenstands / Sachverhalts ermöglichen und für die Praxis verwertbare Diskussions- und Entscheidungshilfen zur Verbesserung bzw. Weiterentwicklung des untersuchten Gegenstands / Sachverhalts liefern soll.

Eigenständiges methodisches Profil

• Evaluation sollte als ein Bestandteil professionellen Handelns verstanden werden, jedoch wäre es verfehlt, wenn man für jede Form der reflektierenden Bewertung beruflichen Handelns den Begriff „Evaluation“ verwenden würde. Evaluation hat mit ihrem Bezug zur Datenerhebung als Grundlage für Bewertungsvorgänge ein eigenes methodisches Profil und ist daher abzugrenzen gegenüber anderen Prüfungs- und Bewertungsvorgängen, in denen über professionelles Handeln reflektiert wird.

Differenz zu Evaluationsforschung

• Evaluation erfolgt zwar auf der Basis sozialwissenschaftlicher Methoden und Modalitäten der Datenerhebung und Datenverwertung, jedoch muss zwischen Evaluation und Evaluationsforschung unterschieden werden. Je stärker und unmittelbarer Evaluation mit der Praxis von Organisationen und deren Akteuren verknüpft wird, desto stärker müssen auch die Anforderungen der Praxis mit den für die sozialwissenschaftliche Methodik geltenden Gütekriterien in einen Ausgleich gebracht werden. Auch die bei Evaluationen häufig wenig markante Trennung zwischen Praxisakteuren und Evaluationsakteuren lässt es sinnvoll erscheinen, zwischen einer in und mit der Praxis verwobenen Evaluation und Evaluationsforschung zu differenzieren. Das vorliegende Einführungsbuch widmet sich schwerpunktmäßig der erstgenannten Variante.

Gegenstände

• Die Gegenstände, auf die sich Evaluation richtet, lassen sich aufgliedern in: Politikevaluation, Programmevaluation, Organisationsevaluation, Personalevaluation und Produktevaluation. Bei Sozialer Arbeit stehen Programmevaluationen im Zentrum. Die anderen Evaluationen haben in der Sozialen Arbeit einen randständigen Stellenwert.