Читать книгу: «Evaluation in der Sozialen Arbeit»

1 Evaluation – was ist das?

Notwendigkeit klarer Begriffsverwendung

In der Einleitung wurde bereits angedeutet, dass der Begriff „Evaluation“ mit seiner zunehmenden Verbreitung Gefahr läuft, zu einer unspezifischen Formel zu verkommen, die man immer dann ins Spiel bringt, wenn ein Sachverhalt „irgendwie“ bewertet werden soll. Auf diese Weise wird aus Evaluation schnell so etwas wie Modeschmuck: Man trägt ihn, weil er aktuell gern gesehen wird – und man legt ihn wieder ab, wenn etwas anderes zur Mode wird. Bisweilen werden bereits ein einfacher Sach- oder ein Jahresbericht oder schlichte statistische Angaben über Besucher bzw. Nutzer von Angeboten als „Evaluation“ bezeichnet.

„In der pädagogischen Praxis fungiert Evaluation derzeit als Ausweis professioneller Fortschrittlichkeit, sodass nahezu alles, was früher als Teamsitzung, Nachbereitung, Reflexion oder Auswertung bezeichnet wurde, nun als Evaluation auftritt.“ (Lüders / Haubrich 2003, 306)

Die unklare Begriffsverwendung führt z. B. zu dem erstaunlichen Ergebnis, dass bei einer Befragung mehr als zwei Drittel der Jugendämter angaben, dass in ihrem regionalen Zuständigkeitsbereich evaluiert werde. Da nicht genauer nach Modalitäten der vermeintlichen Evaluation gefragt wurde, vermuten auch die Autoren der Studie, dass bei näherem Hinsehen „Evaluationsverfahren“ praktiziert wurden, „die zum Teil auch nur bedingt den Namen verdienen“ (Pluto et al. 2007, 382). Die Beliebtheit des Begriffs und seine inflationäre Verwendung ziehen die Notwendigkeit nach sich, sich erst einmal darüber zu verständigen, was „Evaluation“ bedeutet. Daher werden in Kapitel 1.1 zunächst einige zentrale Definitionselemente benannt, die Evaluation von anderen Bewertungsmodalitäten unterscheiden. Da in diesem Buch von Evaluation in der Sozialen Arbeit die Rede ist, also der praxisorientierte Kontext von Evaluation im Mittelpunkt steht, bedarf es zur Vermeidung von Missverständnissen einiger kurzer Anmerkungen zum Verhältnis von Evaluation und Evaluationsforschung einerseits und Evaluation und methodischem Handeln andererseits (Kap. 1.2). Einen weiteren Schwerpunkt bilden Ausführungen zu möglichen Gegenständen von Evaluation in der Sozialen Arbeit (Kap. 1.3).

1.1 Definitionselemente von „Evaluation“

Systematisierte Bewertung

Evaluation als eine (teil-)professionelle Praxis beginnt dort, wo ein Bewertungsvorgang methodisch systematisiert wird mit dem Ziel, ein verbessertes Handlungswissen für die Praxis bzw. für Entscheidungen in der Praxis zu gewinnen. Eine solche, mit professionellem Impetus vollzogene Evaluation setzt sich ab von einem alltäglichen Bewerten, auch wenn dieses auf der Grundlage eines bewussten, an Kriterien ausgerichteten Abwägens oder Prüfens stattfindet. Das Bewerten eines Films nach technischen oder künstlerischen Kriterien oder das mehrmalige Abschmecken einer Suppe während eines Kochvorgangs sollte man sinnvollerweise nicht als „Evaluation“ etikettieren. Denn ansonsten ließen sich vielfältige und unermesslich zahlreiche Geschichten unter dem Titel „Mein evaluativer Alltag“ schreiben. Wenn demgegenüber der Evaluationsbegriff mit einem systematisierten Vorgehen und einem professionellen Impuls in Verbindung gebracht wird, so kann man mit Lüders / Haubrich (2004, 324 ff) unterscheiden zwischen

• Evaluation als Bestandteil beruflichen Handelns und

• Evaluation als Teil des Wissenschaftssystems (Evaluationsforschung).

In der beruflichen Praxis und für die strukturierte Weiterentwicklung professionellen Handelns steht eine Vielzahl von Konzepten und Strategien zur methodischen Bewertung von Maßnahmen, Konzepten, Organisationen etc. zur Verfügung, die unmittelbar an Entscheidungen und Handlungsmuster der professionellen Akteure angekoppelt sind, also unmittelbar pragmatische Zwecke verfolgen. Evaluationsforschung hingegen markiert denjenigen Teilbereich von Evaluation, der sozialwissenschaftliche Forschungsverfahren als Mittel der Erkenntnisgewinnung einsetzt und sich dabei stringent an Standards der empirischen Sozialforschung orientiert (Lüders / Haubrich 2003, 309). Mit der Ankoppelung von Evaluation an eine „professionelle Praxis“ ist zweierlei gemeint: die Bindung von Evaluation an Zwecke, die in einem professionellen Kontext verfolgt werden, und die – zumindest in Ansätzen – professionelle Methodik, mit der Evaluationsverfahren realisiert werden.

Charakteristika zu „Evaluation“

Somit lassen sich zunächst drei allgemeine Charakteristika von Evaluation festhalten (Lüders / Haubrich 2004, 318 ff):

1) Evaluation ist eine Form des Bewertens, und dies setzt voraus, dass dafür Kriterien oder Maßstäbe herausgearbeitet werden.

2) Die Bewertung erfolgt auf der Basis einer systematisierten Informationsgewinnung.

3) Die systematisierte Informationsgewinnung dient einem spezifischen praktischen Erkenntnis- und Verwertungsinteresse. Es gilt das „Primat der Praxis vor der Wissenschaft“ (Kromrey 2000, 22).

Mit diesen drei Charakteristika gehen zwei weitere Elemente von Evaluation einher:

4) Evaluation ist in der Regel eingebettet in einen organisationalen Zusammenhang; sie erfolgt in einer Organisation oder in Verbindung zu mehreren Organisationen.

5) Evaluation ist mit Qualitätsentwicklung verbunden; sie zielt auf das Erzeugen von Wissen, um professionelles Handeln und daraus folgende Ergebnisse zu verbessern.

Im Folgenden sollen diese fünf Merkmale von Evaluation näher erläutert werden.

Bewertungsmaßstäbe

Zu 1:

Die praktische Zweckorientierung von Evaluation schließt immer einen Bewertungsvorgang ein. Das durch Evaluation erzeugte Wissen dient der Bewertung des zu evaluierenden Sachverhalts, und auch der Evaluationsvorgang selbst impliziert eine Fülle von Bewertungen: von der Auswahl des Gegenstandes über die Festlegung der Evaluationsziele, die Erarbeitung und Auswahl der genauen Fragestellung, die Art der Datensammlung und die Form der Datenauswertung bis hin zur Diskussion der Ergebnisse und Schlussfolgerungen. Um Evaluationsergebnisse praxisorientiert verwerten zu können, bedarf es der Festlegung von Kriterien oder Maßstäben, die für die bewertende Erörterung der Evaluationsergebnisse zugrunde gelegt werden. Der Zusammenhang, in dem die Evaluation und deren Ergebnisse verwertet werden, macht Evaluation immer zu einem „politischen“ Vorgang: ein Prozess, in dem Wertmaßstäbe zur Geltung gebracht werden, in dem Interessen und darauf bezogene Hoffnungen und Befürchtungen aktualisiert werden und in dem daher mit strategischen Kalkülen verschiedener Interessenträger gerechnet werden muss. Evaluation löst deswegen in der Regel eine soziale Dynamik aus, weil Interessen von Beteiligten angesprochen werden, Handlungsmöglichkeiten von Einzelnen oder Gruppen möglicherweise in Frage stehen (eingeschränkt oder ausgeweitet werden können), Gewinne oder Verluste von materiellen und nichtmateriellen Ressourcen (finanzielle Förderung, Ausstattungen mit Arbeitsmaterial, Ansehen, Geltung etc.) drohen. Daher ist Evaluation nicht nur als ein sachlicher Vorgang, sondern auch als ein Prozess mit einem hohen sozial dynamisierenden Potenzial zu betrachten, was auch bei der Gestaltung des Rahmens für Evaluationen zu berücksichtigen ist (vgl. Kap. 6). Aus dem für Evaluation konstitutiven Wertbezug ist die Notwendigkeit zu schlussfolgern, dass die an einem Evaluationsprozess Beteiligten ihre Positionen offenlegen und einen Diskurs über die bei der Evaluation aktualisierten Wertsetzungen führen. Evaluation ist somit gebunden an Verfahren der Aushandlung und der diskursiven Rechtfertigung.

Maßstäbe, die als Bewertungshintergrund und als Begründung für Wertsetzungen in einer Evaluation herangezogen werden können, sind u.a.:

• Richtwerte,

• Ziele,

• Zielgruppenerwartungen,

• Erwartungen von Interessenträgern („stakeholder“),

• in der Profession geltende und durch die Profession legitimierte Standards,

• Vergleiche zu vorherigen Verläufen / Ergebnissen (Zeitreihenvergleiche),

• definierte Mindestansprüche (Minimalanforderungen),

• maximal erreichbare Werte (Definition eines Optimums) (Stockmann / Meyer 2010, 78 f).

Systematisierte Informationsgewinnung

Zu 2:

Die für die Bewertung eines Sachverhalts erforderlichen Informationen werden nicht zufällig erhoben, sondern in systematischen, methodisch angeleiteten und transparenten Verfahren. So werden z. B. in einer Kindertageseinrichtung die einzelnen Erzieherinnen in einer Teamsitzung nicht nur nach dem Eindruck gefragt, ob sich nach ihrer Einschätzung durch das Sprachförderungsprogramm, das in den letzten sechs Wochen realisiert worden ist, in den einzelnen Gruppen „etwas verbessert“ habe, sondern zur „Evaluation“ wird eine solche Bewertung erst dann, wenn genauer definiert worden ist, welche Effekte man mit dem Sprachförderungsprogramm erzielen wollte, wenn darauf ausgerichtete Beobachtungsbögen erarbeitet worden sind, und wenn Verfahren verabredet worden sind, in welchen Situationen und durch wen die Beobachtungsbögen eingesetzt werden und wie die Auswertung der dokumentierten Beobachtungen vonstattengehen soll. Um von „Evaluation“ sprechen zu können, bedarf es somit der kriteriengeleiteten, im Hinblick auf ein Wissensziel strukturierten Auswahl von Informationen, die durch diese Kriterien zu „Daten“ werden. Die gewonnenen Daten sind nur dann tauglich, wenn sie in einer an wissenschaftlichen Mindeststandards orientierten Weise gewonnen wurden: nach bestimmten Verfahrensregeln, in einem transparenten, überprüfbaren Vorgehen und nach fachlich akzeptierten Gütekriterien (z. B. Validität, Verlässlichkeit etc.). Die Datensammlung muss mittels intersubjektiver und für den zu evaluierenden Sachverhalt aussagefähiger Kriterien und Messverfahren erfolgen. Dabei muss jedoch im Blick behalten werden, dass Messen eine Voraussetzung darstellt, Evaluation jedoch darüber hinausgeht: „Messen“ ist Deskription (auf der Grundlage vorgängiger Entscheidungen), Evaluieren als darauf gegründeter Bewertungsvorgang zielt darüber hinaus auf Lernprozesse im Praxisfeld (Abs et al. 2006, 106). Mit dieser methodischen Systematisierung sorgt Evaluation für eine Distanz zum unmittelbaren Handeln in der Praxis, die Voraussetzung ist für tragfähige Prozesse des Bewertens. Damit wird es möglich, eine „Randposition“ einnehmen zu können, die eine bessere Beobachtung der Praxis erlaubt.

Praktisches Erkenntnis- und Verwertungsinteresse

Zu 3:

Evaluation erfolgt immer im Hinblick auf bestimmte Verwendungszwecke. Es werden Daten erhoben, die als Planungs- und Entscheidungshilfen genutzt werden zur Überprüfung und Verbesserung des untersuchten Gegenstandsbereichs. Es sollen Handlungen, Maßnahmen, Handlungsprogramme, Verfahrensweisen überprüft und verbessert, Entscheidungsalternativen verdeutlicht, Folgen und Nebenfolgen von Handlungen genauer in den Blick genommen, Grundlagen für eine rationalere Entscheidungsfindung gefunden werden. Dies setzt voraus, dass die Akteure der Sozialen Arbeit, die eine Evaluation in ihrem Handlungsbereich initiieren, dafür Ziele definieren. Ohne genau festgelegte Ziele ist keine sinnvolle Evaluation möglich; erst über definierte Ziele erhält Evaluation eine Richtung. In dieser praxisbezogenen Ziel- und Zweckorientierung unterscheidet sich Evaluation einerseits von anderen, in der Sozialen Arbeit praktizierten Bewertungsmodalitäten wie z. B. Supervision, kollegiale Fallberatung, Problemgespräche, „runder Tisch“, und andererseits von „gewöhnlicher“ empirischer Forschung, bei der die praxisbezogene Verwendbarkeit der Forschungsergebnisse in der Regel nicht so deutlich im Mittelpunkt steht. Weil die Akteure der Sozialen Arbeit an pragmatischen Verfahren und an der Lösung praktischer Probleme interessiert sind, wird die Gültigkeit der Ergebnisse von Evaluationen häufig mit ihrer praktischen Bewährung gleichgesetzt – anders als in der wissenschaftlichen Evaluationsforschung, die stärker an „soweit wie möglich verallgemeinerbaren Aussagen interessiert“ ist (Lüders / Haubrich 2004, 326).

Weil Evaluation „mitten im Leben“ angesiedelt ist, somit die Gegenstände der Evaluation und die Konstellationen, die auf diese Gegenstände einwirken, so vielfältig und komplex sind, kann es kein allgemeingültiges Evaluationsdesign und keine speziell auf Evaluation ausgerichteten Methoden geben. Das Evaluationsdesign muss immer wieder neu auf den Gegenstand und auf die spezifische Situation abgestimmt werden. Dabei kann man zurückgreifen auf hilfreiche und erprobte Verfahrensregeln und auf Methoden und Instrumente, die aus der empirischen Sozialforschung transferiert werden können und auf die man sich beim „Erfinden“ eines adäquaten Evaluationsdesigns stützen kann. Doch „jede Erwartung, es könne einen allgemeinen und weitgehend verbindlichen methodologischen und / oder theoretischen Rahmen, eine Art Rezeptbuch für gute Evaluationen geben, ist eine Illusion“ (Kromrey 2000, 22).

Technologische und reflexive Nutzenerwartungen

Die mit dem Verwertungsinteresse einhergehende Nutzenerwartung kann in zwei unterschiedlichen Varianten auftreten:

• in einer technologischen Variante: Hier wünschen sich die Akteure empirische Hinweise, die möglichst kausale Bezüge deutlich machen (also: was genau dafür verantwortlich ist, dass etwas so und nicht anders funktioniert oder solche und keine anderen Ergebnisse mit sich bringt). Die Hinweise auf Kausalitäten sollen die Aspekte für eine Verbesserung genau identifizieren und die Wirksamkeit einer Maßnahme kalkulierbar verbessern. In dieser Erwartungsvariante ist das Ideal: ein hoher Grad der Festlegung von Entscheidungen durch Evaluation. Die Güte der Evaluation erweist sich an ihrer Prägekraft im Hinblick auf Entscheidungen.

• in einer reflexiven Variante: Dabei erhofft man sich von einer Evaluation empirische Hinweise, die auf Differenzen zwischen Ziel und erreichtem Zustand verweisen und die dementsprechend Anlass geben zu einer Suche nach Optimierungsmöglichkeiten – ohne eine Erwartung hinsichtlich genauer Handlungsanweisungen. Man verspricht sich von der Evaluation eine Reflexionshilfe in der Hoffnung, dass die Güte der Reflexion die Wahrscheinlichkeit einer guten Entscheidung erhöht.

Die skizzierten Erwartungsmuster markieren zwei Tendenzen, die im Alltag meist eher unausgesprochen, implizit wirksam sind und zwischen denen sich Akteure der Sozialen Arbeit bewegen, wenn sie die Mühen einer Evaluation auf sich nehmen wollen. Im Vorfeld einer Evaluation sollten sich die Beteiligten klar darüber werden, welchem dieser Erwartungsmuster sie zuneigen und ob mit dem Evaluationsdesign mitsamt den Evaluationsmethoden, die sie entwerfen, ihre Erwartung realistischerweise eingelöst werden kann.

Organisationaler Zusammenhang

Zu 4:

Soziale Arbeit als helfendes und / oder kontrollierendes Handeln bei sozialen Problemen ereignet sich immer in Organisationszusammenhängen. Anders als spontanes und lebensweltliches Helfen erfolgt Soziale Arbeit in organisierter Form: Grundlage ist ein gesellschaftlicher Auftrag, sie muss sich an darauf ausgerichteten Zielen orientieren und handelt in bestimmten methodischen Mustern. Soziale Arbeit wird durch mehr oder weniger komplizierte und politisch-administrativ festgelegte Finanzierungsformen am Leben erhalten, erfordert Kooperationen und erwartbare Handlungsketten von Akteuren. Sie ist also organisiertes Handeln sowohl im Hinblick auf Abläufe als auch im Hinblick auf die Einbindung in organisationale Strukturen. Vor diesem Hintergrund ist Evaluation nicht nur als ein methodisches Arrangement, sondern immer auch im Zusammenhang einer Organisation (oder auch mehrerer Organisationen) zu sehen. Organisationen sind auf systematische Informationen angewiesen: etwa über den Grad der Zielerreichung, über die Effektivität ihrer Handlungsprogramme, über das Verhältnis von Aufwand und Nutzen ihres Handelns, über den bei ihren Adressaten und / oder Interessenträgern wahrgenommenen Nutzen ihrer Aktivitäten etc. Ohne solche Informationen sind Entscheidungen zur innengerichteten Steuerung, differenzierte Beurteilungen zur Leistungsfähigkeit von Organisationsteilen etc. und glaubwürdige Aktivitäten zur außengerichteten Legitimation nur schwer möglich. Je prekärer die Situation für eine Organisation wird, je störungsanfälliger also innere Abläufe und je bedrohlicher die Legitimationsanfragen von außen werden, desto mehr benötigt die Organisation solche Informationen, die u.a. durch Evaluation erzeugt werden können. Die wachsenden Legitimationsanfragen an Organisationen Sozialer Arbeit („Welche Effekte erzeugt Ihr eigentlich mit dem Geld, das Ihr von der Gesellschaft erhaltet?“) sowie der Druck zu größerer Flexibilität und Wirtschaftlichkeit können als ein Erklärungsfaktor für die wachsende Bedeutung des Evaluationsthemas in den letzten Jahren angesehen werden.