Читать книгу: «Fach- und sprachintegrierter Unterricht an der Universität», страница 3

2.2.5 Evaluationsforschung

Es klang bereits mehrfach an, dass noch ein weiterer Forschungsansatz Beachtung finden muss, wenn man den Charakter der vorliegenden Studie umfassend beschreiben möchte: die Evaluationsforschung1. In jener Spielart jedoch, wie sie in diesem Forschungsprojekt eingesetzt wird, gestaltet sich die Abgrenzung zu den zuvor besprochenen Forschungsansätzen als schwierig.

Der Begriff der Evaluation steht hier für eine Forschungsmaßnahme, die das untersuchte Programm über viele Jahre hinweg begleitet und dabei Erkenntnisse für dessen kontinuierliche Weiterentwicklung hervorbringt. Sie trägt also – ebenso wie die Aktionsforschung oder die Entwicklungsorientierte Forschung – deutlich iterative Züge (vgl. Gess et al. 2014). Und da die drei Forschungsansätze zugleich die große Vielfalt an möglichen methodischen Vorgehensweisen teilen, bietet sich einmal mehr der Blick auf die Rollen der Akteurinnen und Akteure an, um sie voneinander zu unterscheiden: evaluierende Forschende bewerten zwar ein Programm, aber sie sind im Unterschied zur Entwicklungsorientierten Forschung und auch zur Aktionsforschung nicht an dessen Gestaltung beteiligt. Mit dieser Definition ist zweifellos ein häufig anzutreffendes Wesensmerkmal von Evaluationen in pädagogischen Kontexten erfasst. Sie greift jedoch für die vorliegende Studie zu kurz, weshalb ich in diesem Abschnitt unser Verständnis der Evaluation und ihrer Funktion im Projekt vor dem Hintergrund der theoretischen Diskussionen zu diesem Forschungsansatz verdeutlichen möchte.

Zwei Prämissen sollten jeder Programmevaluation zugrunde liegen: Zum einen die Gewissheit, dass es kein objektives Maß für den Erfolg pädagogischer Unternehmungen geben kann – also keine „Qualität alles in allem“, wie Kromrey (2006:251) es beschreibt; und damit zum anderen das Wissen darum, dass jede Aussage über die Qualität eines Programms das Nachdenken über Sinn und Zweck der untersuchten Lehr- und Lernprozesse voraussetzt. Ohne engen Bezug zu curricularen Überlegungen fehlt einer Evaluation also der Dreh- und Angelpunkt.

Die in einem Curriculum festgehaltenen Bildungsziele entspringen pädagogischen Werturteilen, sind mithin also immer normativer Natur. Aus ihnen wird ersichtlich, welches Bild die für die Programmgestaltung Verantwortlichen von den Lernenden haben und welche Entwicklungen und Lernprozesse sie sich von ihnen erhoffen. Auch ihre Vorstellungen über die Natur des Unterrichtsgegenstandes und seine Bedeutung im Bildungsprozess werden deutlich. Nicht zuletzt lassen sich Rückschlüsse über ihre Annahmen von erfolgreichem und effektivem (Fremdsprachen)Lernen ziehen. Und selbst wenn das Curriculum eines Programms all diese Punkte ausspart und sich auf die Angabe von Unterrichtszeiten, Lerngruppengrößen, zu bearbeitenden Lehrwerken und Prüfungsformaten beschränkt, wie es im Fall des Deutschunterrichts an japanischen Universitäten häufig der Fall ist, kommen diese Werturteile implizit zum Vorschein und entfalten als Teil des hidden curriculum im Unterrichtsalltag ihre Wirkung (vgl. Jackson [1969] 2009). In Kap. 2.3 werde ich daher ausführlich auf die curricularen Grundlagen des untersuchten Unterrichts zurückkommen.

Gleichwohl entscheidet sich die Qualität eines Programms natürlich nicht daran, ob oder wie überzeugend und umfassend Bildungsziele und Bildungsprozesse curricular vorgezeichnet wurden. Ein Curriculum kann nie mehr darstellen als eine Hypothese, denn erst im Unterricht selbst, also im Zusammenwirken von Lehrenden, Lernenden, Materialien, Aufgabenstellungen und vielfältigen weiteren Kontextfaktoren nimmt es konkrete Gestalt an. Qualität entsteht immer auf der Ebene des praktischen Handelns und genau dort muss das kritische Nachfragen ansetzen. Ohne eine kontinuierliche Begleitung durch Evaluationsforschung, so die logische Konsequenz, laufen die im Curriculum niederlegten Qualitätsansprüche Gefahr, Luftschlösser zu bleiben oder von den Routinen des Unterrichtsalltags verformt zu werden. In diesem Sinne lassen sich Evaluationen – um es mit einer Metapher von Yang (2009:77) zu beschreiben – als das Herz eines Programmes verstehen, das alle anderen Elemente miteinander verbindet und ihnen die notwendige Energie zuführt. Umso erstaunlicher ist es, dass die Evaluationsforschung innerhalb der internationalen Fremdsprachendidaktik zu jenen Forschungsansätzen gezählt werden muss, die sich derzeit eher am Rande der Aufmerksamkeit bewegen (vgl. Norris 2016:169).

Um die Funktion der Programmevaluation in diesem Forschungsprojekt zu verdeutlichen, möchte ich zunächst zwei unterschiedliche Zugangsweisen gegenüberstellen: den diagnostischen Ansatz und den explorativen Ansatz2. Ersterer rückt die summative, retrospektive Bewertung in den Vordergrund, fragt also nach dem zählbaren Ertrag von Bildungsprozessen. Die Studie von Pinheiro-Cadd (2018), in der die Auswirkungen einer grundlegenden Reform der Fremdsprachenausbildung an einer US-amerikanischen Universität anhand von Einschreibezahlen und erreichten Noten analysiert werden, ist hierfür ein anschauliches Beispiel. Der diagnostische Ansatz kann zugleich auf Theoriebildungsprozesse zielen, indem Aussagen über den Effekt bestimmter Maßnahmen (z.B. didaktischer Konzepte) getroffen werden. Zu diesem Zweck werden auf der Grundlage eines (quasi)experimentellen Designs komplexe Wirkungsmechanismen auf wenige Faktoren reduziert und ausgewählte Variablen nach Kausalzusammenhängen untersucht. Ein prototypisches Beispiel aus dem Bereich der Fremdsprachenforschung liefern Klapper/Rees (2003) mit ihrer Studie zum Grammatikerwerb bei variierenden Unterrichtsbedingungen.

Der explorative Ansatz hingegen trägt eher Züge einer formativen Evaluation. Die Lehr- und Lernprozesse im Programm begleitend sollen dessen Stärken und Schwächen aufgedeckt und Ansatzpunkte für Verbesserungen identifiziert werden (vgl. Scriven 1991:159; Stockmann/Meyer 2014:111ff).

Unbestritten ist natürlich, dass es der messbaren Erträge aus diagnostischen Evaluationen bedarf, um die Qualität eines Programms einschätzen zu können (vgl. Gräsel/Parchmann 2004; Helmke 2009). Doch gerade Bildungsziele, die sich auf die Persönlichkeitsentwicklung von Lernenden beziehen, volitionale Aspekte des Lernens ebenso berühren wie soziale, widersetzen sich einem Ursache-Wirkung-Denken und können nur langfristig und multiperspektivisch auf ihren Erfolg hin untersucht werden. Das diagnostische Modell von Evaluation tendiert hingegen dazu, Unterricht auf einen technologischen Akt zu reduzieren, der sich auf den Transfer von vermeintlich gesichertem Wissen oder von Kompetenzen richtet (vgl. die Kritik bei Schön 1983) und sich durch strukturelle Veränderungen steuern lässt. Dabei gerät leicht aus dem Blick, dass sich Bildungsprozesse vor allem durch die Komplexität des Geschehens auszeichnen, durch Widersprüche und Antinomien3. In den Hintergrund tritt die soziale Dimension von Unterricht, die Tatsache also, dass in pädagogischen Programmen Individuen mit ihren je eigenen Persönlichkeiten, Verhaltensweisen, Erwartungen und Interessen zusammenfinden. Im Miteinander bilden sich Beziehungen heraus, gemeinsame Routinen oder Rituale, die Breen (1985:142) als Kultur des Klassenraums beschrieben hat. Dieser besondere Charakter von Bildungsprozessen macht es nicht nur Lehrkräften unmöglich, Unterricht detailliert zu planen. Er erschwert es auch Forschenden erheblich, kausale Beziehungen in Lehr- und Lernprozessen aufzudecken.

Für die Evaluation von Programmen führen diese Überlegungen zu entscheidenden methodologischen und methodischen Konsequenzen: Da eine Fixierung auf ausgewählte Erträge und Ursache-Wirkungs-Zusammenhänge die Sicht auf die Vielfalt möglicher Faktoren verstellt, die den Programmalltag bestimmen, muss sie sich auch als ein „heuristisches Experiment von Forschung und Unterrichtspraxis“ (Heiner 1998:25) verstehen. Und genau diese Perspektive wird durch den explorativen Ansatz von Evaluation gestärkt; von Graves (2008:173) auch als illuminative evaluation bezeichnet. Er will nicht nur einzelne Erträge eines Programms beschreiben, sondern zugleich den Prozessen ihres Zustandekommens näherkommen (Wholey 2015).

Das Gelingen und Misslingen praktischen Handelns in sozialen Kontexten soll in seiner Vielschichtigkeit verstanden werden. Der explorative Ansatz beschränkt sich also nicht darauf zu untersuchen, was die Beteiligten zu einem bestimmten Zeitpunkt können oder wissen. Er schließt beispielsweise ebenso die Frage ein, wie sie selbst das Geschehen erleben und deuten. Und er lenkt die Aufmerksamkeit auf die im Programm ablaufenden Prozesse – etwa die Interaktion im Unterricht, die Veränderung von Einstellungen und Beziehungen oder die Etablierung von Handlungsmustern. Van Lier (2004) bezeichnet diesen umfassenden Blick auf die in Bildungsprogrammen wirkende Faktorenvielfalt als „ökologische Perspektive“. Ein Konzept, das sich in der Fremdsprachendidaktik in den letzten beiden Jahrzehnten als sehr inspirierend erwiesen hat.4 Explorative Evaluationen stellen eine Möglichkeit dar, eine solche ökologische Perspektive in konkretes Forschungshandeln zu übersetzen und damit die Weiterentwicklung eines einzelnen Programms in einem bestimmten zeitlichen und lokalen Kontext voranzutreiben.

Wie Beywl (2006) ausführlich diskutiert, kommt der Stellung der Werte im Gesamtkonzept von Evaluationen eine besondere Bedeutung zu. Der diagnostische Ansatz strebt in diesem Sinne nach Wertneutralität, liegt doch der Schwerpunkt auf der Gewinnung möglichst objektiver Informationen über das zu untersuchende Programm. Der explorative Ansatz dagegen bezieht den „personalen Faktor“ (Patton 2014) ein und muss mit Beywl (2006) als „wertpriorisierend“ bzw. „wertpositioniert“ bezeichnet werden. Er ist dadurch charakterisiert, dass die Entscheidung über die zu untersuchenden Gegenstände und Fragestellungen auf einem Aushandlungsprozess zwischen den beteiligten Personen (Stakeholdern) beruht. Deren pädagogische Wertvorstellungen prägen somit den Verlauf der Evaluation entscheidend mit. Gemeinsam wird zunächst geklärt, welche Aspekte des Programms untersuchungswürdig sind. Für den Bereich der Fremdsprachenforschung bieten die Studien von Towell/Tomlinson (1999) oder Yang (2009) anschauliche Beispiele für ein solches Vorgehen.

Wenn aber die unmittelbar involvierten Lehrenden selbst als Initiatoren der Evaluation auftreten, wie es auch in der vorliegenden Studie der Fall ist, stehen sie beständig vor der Herausforderung, eine „dialektische Bewegung zwischen Engagement und Distanzierung“ (Kardoff 2006:87) bewältigen zu müssen. In diesem Punkt weist die Evaluationsforschung deutliche Parallelen mit der Aktionsforschung auf. Um angesichts dieser Schwierigkeit nicht in eine „publikumswirksame Selbstprofilierung“ (Schnell/Kopp 2001:32) abzugleiten oder ihrer „Betriebsblindheit“ (Stockmann/Meyer 2014:88) zu erliegen, sind verschiedene Gegenmaßnahmen erforderlich.

Zum ersten kann es hilfreich sein, externe bzw. nicht unmittelbar mit dem Untersuchungsgegenstand befasste Forschende einzubeziehen, wie wir es auch in dieser Studie praktizieren.5 Zum zweiten sollte ein hoher Grad an Transparenz angestrebt werden. Mit unserer Projektseite versuchen wir, diesem Anspruch gerecht zu werden. Sie ermöglicht es, alle Forschungsinstrumente und Daten einzusehen und lädt ausdrücklich dazu ein, die Ergebnisse der Analysen nachzuvollziehen und zu hinterfragen. Zum dritten schließlich halte ich es für unabdingbar, die auf die Evaluation einwirkenden Wertvorstellungen zu thematisieren und damit der reflektierten Subjektivität als einem Kernkriterium für die Güte empirischer Forschung (Steinke 2008) nachzukommen. Die eigene Rolle im Forschungsprozess und das persönliche Verhältnis zum untersuchten Gegenstand sind daher Punkte, auf die ich immer wieder zurückkommen werde.

Die Diskussion zur Rolle der Werte zeigt, dass Evaluationen – ebenso wie die Gestaltung von Curricula – als politische Prozesse verstanden werden müssen, in denen normative Überzeugungen miteinander ringen. Aber gerade aus diesen Aushandlungsprozessen kann ein besonderer Mehrwert von Evaluationen für eine Institution erwachsen. Denn die gemeinsame Verständigung darüber, welche Kriterien bei der Bewertung einzelner Aspekte des Kurses herangezogen werden sollten, kann entscheidend zu einem Klima der Offenheit und Zusammenarbeit beitragen. Patton (2008) sieht in diesem „Prozessnutzen“ sogar einen der wesentlichen Effekte: Evaluativ zu denken, sich dabei der eigenen Werte bewusst zu werden und diese mit anderen zu diskutieren, hält er für eine notwendige Alternative zur verbreiteten „Outcome-Manie“ wertdistanzierter Evaluationen, bei der die normativen Grundlagen häufig hinter vermeintlich objektiven Leistungsmaßen versteckt würden.

Aber auch Patton möchte keineswegs auf die Erkenntnisse aus bewertenden, summativen Evaluationen verzichten. In seinem Modell einer „nutzenfokussierten Evaluation“ finden der diagnostische Ansatz und der explorative Ansatz in einer Synthese zusammen. Nach diesem Verständnis, das auch für die vorliegende Studie richtungsweisend ist, schließen sich die Beschreibung der Effektivität eines Programms und das Verstehen des Geschehens vor Ort mit seinen unterschiedlichen Einflussfaktoren nicht aus (vgl. auch Kiely 2009:32ff).

Somit steht der Begriff der Evaluation hier für einen Forschungsprozess, mit dessen Hilfe Informationen über die Struktur von Programmen und die Merkmale der in ihrem Rahmen ablaufenden alltäglichen Praxis gewonnen werden, über die Erträge und Auswirkungen des Unterrichts und nicht zuletzt über die Wahrnehmung des Geschehens durch die Beteiligten.

Tabelle 2.1 gibt einen Überblick über die Vielfalt an Kriterien, die sich diesem umfassenden Ansatz von Evaluation zufolge anbieten, um die Qualität eines Programms zu beschreiben. Anhand dieser Tabelle möchte ich die Forschungsschwerpunkte verdeutlichen, die wir für die vorliegende Studie gewählt haben.

Kriterien	Unterkriterien	Beispiele für zu untersuchende Aspekte
Strukturqualität	organisatorische Rahmenbedingungen	Klassengröße, Anzahl der Unterrichtsstunden, Prinzipien des Personaleinsatzes
	Management und Qualitätssicherung	Grundsätze der Curriculumgestaltung, Lehrmethoden und -materialien, Führungssystem, Konzepte der Evaluation, Entwicklung und Dokumentation
Prozessqualität	Lernkultur/ Lernklima	Unterrichtsdesign, Leistungsanforderungen, Umgang miteinander, Kurs als Lebensraum, Formen der Beteiligung
	Lernprozesse	Interaktionsprozesse im Unterricht, Sprechanteile von Lehrenden und Lernenden, Aufgabenverteilung im Unterricht, Gestaltung der Lernzeit außerhalb des Unterrichts
	Professionalität der Lehrenden	berufliches Selbstverständnis, Verhalten gegenüber den Studierenden, Qualifikationsprofil, Fortbildung
Ergebnisqualität	Lernergebnisse	Arbeitsergebnisse der Lernenden, Fähigkeiten, Niveaustufen, Schlüsselqualifikationen, Abschlüsse/ Qualifikationen
	Entwicklungsprozesse	Zufriedenheit, Persönlichkeitsbildung/ Selbstkompetenz, Engagement
	Auswirkungen	Fluktuation/ Abbrecherquote, Vermittelbarkeit, Karrierewege

Tab. 2.1:

Aspekte von Qualität bei der Evaluation von Bildungsprogrammen (nach Ernst 2006:194; siehe auch Noris 2016:177; Scriven 1991:277ff; Rindermann 1996:241ff).

Zunächst erscheint es an dieser Stelle wichtig, noch einmal darauf zu verweisen, dass nicht das Intensivprogramm für Deutschlandstudien an der Juristischen Fakultät der Keio Universität Tokio in seiner Gesamtheit den Gegenstand der Untersuchung bildet. Im Fokus liegt vielmehr einer der Grundstufenkurse. Er wird jedes Jahr für Studierende des ersten Studienjahres angeboten und zeichnet sich durch seine konsequente Ausrichtung an den Prinzipien des fach- und sprachintegrierten und zugleich aufgabenbasierten Lernens aus. Es handelt sich also um eine, sich über zwei Semester erstreckende Abfolge von Unterrichtseinheiten, die hier als kohärentes Ganzes gesehen wird (vgl. Graves 2008:149), auch wenn der Kurs selbst wiederum in einem größeren curricularen Rahmen eingebunden ist (ausführlicher dazu Kap. 2.3).

Wie ich bereits weiter oben darstellte, geht es uns bei der vorliegenden Studie nicht um die Frage, ob dieses fach- und sprachintegrierte Konzept für die Grundstufe funktioniert. Dem Erkenntnisinteresse von nutzenorientierten Evaluationen folgend, wollten wir vielmehr wissen, was genau funktioniert, in welcher Weise, mit welchen Konsequenzen und warum – oder auch warum nicht (vgl. Patton 2014:48). Die Prozessqualität und die Ergebnisqualität liegen somit im Zentrum der Aufmerksamkeit.

An Tabelle 2.1 lässt sich jedoch leicht ablesen, dass wir angesichts der Vielzahl von Aspekten, die sich für eine Untersuchung anbieten, eine Auswahl treffen mussten. Die Studie wird sich daher hinsichtlich der Prozessqualität auf die Interaktion im Unterricht und auf die Lernkultur konzentrieren. Bei der Ergebnisqualität liegt die Aufmerksamkeit zum einen auf der Entwicklung der Lernersprache und zum anderen auf den Veränderungen der Selbstwahrnehmung der Lernenden, ihrer Einstellung zum Fremdsprachenlernen und ihren weiteren Lernwegen im Gesamtprogramm. Auch der Aspekt der Strukturqualität wird zur Sprache kommen, allerdings nicht als Gegenstand einer empirischen Analyse. Kap. 2.3 widmet sich in deskriptiver Form dem curricularen Rahmen und den Grundsätzen der Unterrichtsgestaltung im untersuchten Kurs.

2.2.6 Zwischenbetrachtung

Nach der ausführlichen Darstellung der unterschiedlichen Forschungsperspektiven, die in dieser Studie verknüpft werden, bietet sich an dieser Stelle ein kurzes Zwischenfazit an. Als eine erste Konsequenz aus den bisherigen Überlegungen zum Forschungsdesign lässt sich festhalten, dass wir uns an den Grenzlinien mehrerer Forschungsansätze bewegen. Aber was bedeutet das konkret für die Anlage der Studie? Aus der Aktionsforschung fließt in dieses Projekt neben den ursprünglichen Beweggründen für das Forschungsvorhaben (siehe Kap. 2.2.1) vor allem die Erkenntnis ein, dass es bedeutsam ist, mein eigenes Selbstverständnis als forschender Lehrer, meine persönliche Einbindung in das Projekt und meine Beziehung zum Gegenstand zu thematisieren.

Die Entwicklungsorientierte Forschung lenkt die Aufmerksamkeit auf die theoriegeleitete Konzeption des untersuchten Kurses. Zugleich verweist sie aber auch auf eine wichtige Zielsetzung dieses Projektes: Es will nicht nur im Sinne der Aktionsforschung konkrete Praxis verbessern, sondern strebt auch danach, einen Beitrag zur Generierung neuen theoretischen Wissens zu leisten. Die Ergebnisse unserer Analysen sollen also über den lokalen Kontext hinausweisen und damit die Entwicklung des fach- und sprachintegrierten Unterrichts im tertiären Bereich voranbringen.

Und auf die Evaluationsforschung schließlich geht der multiperspektivische Ansatz zurück, unser Bemühen also, dem Facettenreichtum von Lehr- und Lernprozessen gerecht zu werden. Die Studie bringt Forschende zusammen, die zu einem unterschiedlichen Grad in den untersuchten Kurs eingebunden sind und ihre je eigene Sicht auf das Geschehen beisteuern. Das wiederum führt zu einer in der Fremdsprachenforschung eher selten anzutreffenden Synthese: einerseits von unterschiedlichen Definitionen des Untersuchungsgegenstandes, vor allem dem Verständnis dessen, was Lernen oder Interaktion ausmachen; andererseits den sich daraus ergebenden Methoden der Datenerhebung, -aufbereitung und -analyse. Diese Art von Grenzgängen wird der folgende Abschnitt betrachten.