Werner Fricke

Juli 2006

Evaluation zwischen Bewertung und Beratung: Die Rolle des critical friend Evaluation zwischen Bewertung und Beratung – so läßt sich meine Praxis formativer Evaluation auf den Punkt bringen. Mein Verhältnis zu der EQUAL Entwicklungspartnerschaft, die ich derzeit evaluiere, bezeichne ich als critical friend. Ein kritischer Freund zeichnet sich durch Nähe zur EP aus, gleichzeitig aber hält er auch Distanz, wenn er die EP und ihren Entwicklungsprozeß bewertet. Die Mischung von freundlicher Nähe und kritischer Distanz führt dazu, daß meine Bewertung nicht – wie oft in der akademischen Welt – aus der Position eines neutralen Beobachters, des üblichen Gutachters oder gar des Konkurrenten erfolgt, sondern aus der Sicht eines Wissenschaftlers, der als Berater am Entwicklungsprozeß aktiv beteiligt ist, wenn auch nicht als operativer Partner wie die übrigen Entwicklungspartner. Als Berater Prozeßbeteiligter und gleichzeitig Außenstehender als Bewerter – das kennzeichnet die Praxis des critical friend im Konzept formativer Evaluation. Wessen Freund aber bin ich? An wen und woran fühle ich mich als Freund gebunden? Ich unterscheide drei Ebenen von Bindungen: 1) Im Verlauf der Evaluation entstehen persönliche Beziehungen zu den Entwicklungspartnern, deren Art und Intensität (a) vom Evaluationskonzept und (b) von der Aufgabe des jeweiligen Projektpartners im Entwicklungsprozeß abhängig sind.1. 2) als Evaluator fühle ich mich außerdem der Aufgabe, dem Ziel und vor allem dem Innovationspotenzial der EP verpflichtet. Es entsteht also eine Verpflichtung in der Sache. Auf die Ausschöpfung des Innovationspotenzials hinzuwirken, ist eine der anspruchsvollsten und schwierigsten, vielleicht die schwierigste Aufgabe des critical friend. Der 1

Um das an zwei Beispielen zu verdeutlichen:

Wer als externer Evaluator tätig ist, sich auf Bewertung von Entwicklungsprozess und Entwicklungsergebnis nach einem Kanon „objektiver“, d.h. einseitig wissenschaftlich definierter oder sonstwie (zum Beispiel vom Auftraggeber) vorgegebener Kriterien beschränkt, wird kaum persönliche Beziehungen zu den Projektpartnern entwickeln wollen oder können. Im Falle formativer Evaluation entstehen persönliche Beziehungen zu den operativen Partnern der EP, sie sind aber zum Koordinator andere als zu den übrigen Netzwerkpartnern.

2

Grund liegt auf der Hand: Die möglichen (und im Antrag zugesagten) Innovationen in Auseinandersetzung mit dem Kontext des Entwicklungsprojekts tatsächlich zu entwickeln und zu erproben, erfordert von der EP besondere Anstrengungen, die in der Tagesarbeit nicht leicht zu erbringen sind. 3) Schließlich ist der Evaluator drittens als Wissenschaftler seiner Disziplin verpflichtet, d.h. den Regeln der Erkenntnisgewinnung und der Bewertung von (neuen) Erkenntnissen, von Entwicklungsprozessen und ihren Ergebnissen. Diese Vielfalt unterschiedlicher Bindungen und Beziehungen bringt den critical friend häufig in ein Dilemma. Es wird noch dadurch verschärft, daß formative Evaluation nicht etwa durch einen Wechsel von Nähe und Distanz gekennzeichnet ist, sondern gerade durch ihre Gleichzeitigkeit. Hierzu einige Beispiele: 1) Der critical friend als Berater Beratende Tätigkeit findet in unserer EP grundsätzlich projektöffentlich statt, d.h. im Rahmen der monatlichen Treffen der EP, auf den Reflexionsseminaren und schriftlich durch den jährlichen Evaluationsbericht, in dem ich Vorschläge für die Arbeit der EP im kommenden Jahr formuliere. Ich lege Wert darauf und betone regelmäßig, daß der Evaluator keine Stimme in Entscheidungsprozessen hat. Er macht also lediglich Vorschläge, die nach Diskussion aller Netzwerkpartner akzeptiert oder verworfen werden. Diese Art der Beratung hat zwei Seiten: Einerseits ist der critical friend von der Verantwortung befreit, die mit der Realisierung seiner Vorschläge verbunden ist; andererseits muß er die Ablehnung seiner Vorschläge ertragen können. Anders formuliert: Als Berater greife ich zwar in den Entwicklungsprozeß ein, habe aber außer durch meine Argumente keinen Einfluß darauf, wie der Prozeß reagiert. Ich kann lediglich bei der nächsten Evaluationsrunde auf die Folgen aufmerksam machen, die aus Annahme oder Ablehnung meiner Vorschläge resultieren. Dies erfordert einige Distanz des critical friend auch sich selbst und seiner Arbeit gegenüber. Dies Dilemma hat noch eine zweite Seite. Wenn der critical friend als Berater tätig wird, nehmen ihn alle Prozeßbeteiligten – wie auch er sich selbst – gleichzeitig als den bewertenden Evaluator wahr, der – obgleich zu einem späteren Zeitpunkt – die EP bewertet. Diese doppelte Funktion als Berater und Bewerter kann dem critical friend einen Einfluß auf den Entwicklungsprozeß verschaffen, der über die Kraft seiner Argumente hinausgeht. Damit umzugehen,

3

erfordert von allen Beteiligten nicht nur Fingerspitzengefühl und Einfühlungsvermögen, sondern auch Souveränität und Mut. Vor allem der critical friend muß sich davor hüten, seiner Beratung bewußt oder unbewußt durch Hinweis auf seine bewertende Funktion Nachdruck zu verleihen. 2) Der critical friend als Bewerter der EP Im Rahmen formativer Evaluation entwickelt der critical friend die Kriterien zur Bewertung der Netzwerkarbeit, des Entwicklungsprozesses und seiner Ergebnisse, insbesondere der Innovationen, gemeinsam mit den operativen Partnern. Die beiden Besonderheiten dieses Verfahrens sind - Bewertungskriterien werden prozeß- und aufgabenbezogen und (b) - im Dialog mit allen Entwicklungspartnern entwickelt. Kritiker des Konzepts formativer Evaluation wenden häufig ein, daß die Evaluation bei diesem dialog- und prozeßbezogenen Verfahren zu sehr eine Einzelfallbewertung ist, weil sie auf die Anwendung „objektiver“ oder genereller Bewertungskriterien verzichtet. Diese Kritik ist leicht zu entkräften, wenn formative Evaluation dem Konzept der Aktionsforschung folgt.2 Ein wesentliches Element von Aktionsforschung ist der Dialog zwischen Wissenschaft und Praxis3. Das gilt für Gewinnung neuer Erkenntnisse ebenso wie für die Bewertung von Entwicklungsprozessen. Wenn der critical friend ein Sozialwissenschaftler ist, dann bringt er in den Dialog mit Praxisakteuren (also den Entwicklungspartnern eines EQUAL Projekts) seine wissenschaftlichen Kriterien und Normen ein, wie es gleichzeitig die Entwicklungspartner mit ihren Praxiserfahrungen tun. Beide Partner, Wissenschaftler wie Praxisakteure, haben in diesem Dialog die Chance gemeinsamen Lernens. Gemeinsam sind sie die Autoren (owner) ihres gemeinsamen Lern- und Reflexionsprozesses und seiner Ergebnisse. Die Praxiserfahrungen der Entwicklungspartner haben das Ergebnis - hier also die gemeinsam erarbeiteten Bewertungskriterien - ebenso geprägt wie die Erfahrungen des critical friend als Wissenschaftler. In diesem Kontext gibt es kein individuelles copyright.

2

Formative Evaluation und Aktionsforschung weisen in der Tat eine Reihe von Gemeinsamkeiten auf. Siehe dazu W. Fricke 3 Als einführende Literatur zur Aktionsforschung empfehle ich Greenwood/Levin 1998; Toulmin/Gustavsen (eds) 1996 (darin besonders den Beitrag von von Beinum/Faucheux/van der Vlist); Olaf Eikeland (2006). In der deutschen Literatur herrscht ganz überwiegend ein verkürztes Verständnis von Aktionsforschung; die wissenschaftstheoretischen Grundlagen werden in der Regel vernachlässigt. Deshalb empfehle ich Literatur aus dem englischen Sprachraum.

4

Das dialogische Verfahren bei der Entwicklung prozess- und aufgabenbezogener Bewertungskriterien hat verschiedene Vorteile: 1) die Kriterien sind dem zu bewertenden Sachverhalt angemessen und berücksichtigen auch den Kontext des Entwicklungsprozesses, der bei EQUAL Projekten besonders komplex ist (Netzwerkstrukturen; Arbeitsmarktpolitik mit ihren verschiedenen Akteuren, unterschiedliche Transferpartner mit ihren je eigenen Interessen und Handlungskontexten) 2) die Kriterien werden von allen Projektbeteiligten akzeptiert und verstanden, sie sind ihr gemeinsames „Eigentum“ (ownership). 3) der Prozess der Selbstreflexion, der der Vereinbarung von Bewertungskriterien vorausgeht, ist wichtig, weil die Entwicklungspartner angesichts der hohen Anforderungen und des schwierigen Umfelds von EQUAL Projekten (Arbeitsmarktpolitik, Anforderungen der Programmverwaltung) häufig in Gefahr sind, in ihren Tagesarbeiten zu versinken und „den Kopf zu verlieren“. Leider leistet die Bürokratie der Programmverwaltung hierzu einen erheblichen Beitrag. Das Verfahren der Entwicklung von Bewertungskriterien im Dialog mit den Entwicklungspartnern stellt einige besondere Anforderungen an den critical friend: - er darf in den Dialog nicht mit der Attitude gehen, über das überlegene (weil wissenschaftliche) Wissen zu verfügen. Diese in der akademischen Welt weit verbreitete Haltung ist der Aktionsforschung fremd. Hier sind wissenschaftliches und Praxiswissen verschiedenartig, aber gleichberechtigt. - Der critical friend muß nicht nur zuhören können, sondern es auch wollen. Er muss die Arbeit der Entwicklungspartner achten und hoch schätzen. Dazu gehört, dass er sie als Partner akzeptiert, mit ihnen kooperiert und aus der Beobachter- und Bewerterrolle des distanzierten Wissenschaftlers heraustritt. - Ich will an dieser Stelle nicht verschweigen, daß das dialogische Verfahren der Aktionsforschung Freude bereitet, weil es der Zusammenarbeit mit Praxisakteuren Raum gibt und damit Gelegenheiten nicht nur zu gemeinsamen, sondern auch zu eigenen Lernprozessen des critical friend schafft. - Reizvoll ist auch die Offenheit des Entwicklungsprozesses. Begleitende Dialoge und Reflexionsseminare haben die Chance, ihn mit zu gestalten - Schließlich stellt es eine Motivation für den critical friend dar, den Entwicklungsprozeß mit seinen Mitteln zu fördern (Beratung, Gelegenheiten zu Reflexion).

5

Sie sehen daran, wie produktiv die Nähe des critical friend zum Entwicklungsprozeß werden kann. Dazu gehört allerdings, daß sich der critical friend gleichzeitig seiner Distanz zur Praxis bewußt ist: Er nimmt als Wissenschaftler an dem Dialog mit Praxisakteuren teil, d.h.: Er bringt eigene Kriterien, Perspektiven und Interessen in den Bewertungsprozeß mit ein; seine Aufgabe ist es, Reflexionsprozesse zu organisieren. Das kann er unter anderem deshalb, weil die Zeitstruktur seiner Arbeit anders ist als die der Entwicklungspartner. 3. Typische Konfliktsituationen In einer Entwicklungspartnerschaft sind der/die Koordinator(in) und der critical friend zwei herausgehobene Akteure. Es gibt eine Reihe typischer Konfliktfelder zwischen diesen beiden Funktionen: (a) Aus einer englischen EP ist mir berichtet worden, daß es zu Konflikten zwischen Evaluation und Koordination kam, weil die Koordination von der Evaluation (in diesem Fall ebenfalls ein critical friend) erwartete, vor allem den Erfolg der EP zu bestätigen. Das Interesse der Koordination war verständlich: Es ging darum, die Chancen für ein Anschlußprojekt nicht durch eine kritische Evaluation zu verbauen. Der Konflikt ging so weit, daß die Koordination selbst als interne Evaluation tätig wurde und Daten sammelte, die den erfolgreichen Abschluß des Projekts bestätigen sollten. Es kam zu Doppelarbeiten; schließlich zog sich der critical friend aus dem Projekt zurück. (b) Ein weiterer typischer Konflikt ist in den unterschiedlichen Funktionen, Arbeitsbedingungen und Sichtweisen von Koordinator(in) und critical friend bedingt. Die Koordination vertritt die EP gegenüber der Programmverwaltung. Sie ist in dieser Funktion bemüht, den Ablauf des Entwicklungsprojekts als reibungslos darzustellen. Gelingt ihr das nicht, reagiert die Programmverwaltung sofort mit Nachfragen, Auflagen und vielleicht sogar finanziellen Restriktionen. Sie erzeugt damit einen erheblichen Mehraufwand an bürokratischen Arbeiten, den vor allem die Koordination zu leisten hat. Reflexionsprozesse stören da häufig nur. Mit diesem Verhalten läuft die Koordination allerdings Gefahr, das Entwicklungsprojekt lediglich zu verwalten. Innovationspotenziale, auf die die Evaluation aufmerksam zu machen hat, geraten dadurch leicht aus dem Blickfeld – etwa nach dem Motto: Die Evaluation stellt zu hohe Ansprüche. (c) Als weiteres Konfliktfeld nenne ich das Verhältnis von Netzwerksteuerung und critical friend. Meiner Erfahrung nach sind Koordinatoren von Vielfalt und Umfang ihrer Aufgaben häufig überfordert; Mehrarbeit in erheblichem Umfang ist die Folge. Koordinatoren haben die EP zu steuern, die Programmverwaltung zufrieden zu stellen, die Aktivitäten der Teilprojekte zu

6

koordinieren, sich mit den schwierigen Kontextbedingungen eines EQUAL Projekts auseinander zu setzen, frühzeitig Transferprozesse zu organisieren und bei allem darauf zu achten, daß das Entwicklungsziel nicht aus dem Blickfeld gerät und auf möglichst innovative Art erreicht wird.. Für Reflexion bleibt da wenig Zeit. Der Evaluator kann als critical friend zwar bei der Steuerung und Feinsteuerung des Projekts helfen, indem er zur rechten Zeit Fragen aufwirft, Dialoge zur gemeinsamen Lösung von auftretenden Problemen initiiert, auch beratend Hinweise gibt – aber es kann vorkommen, daß sich die Koordination dadurch eher gestört fühlt und den critical friend als Konkurrenten empfindet. Diese Gefahr besteht vor allem in zentral gesteuerten Netzwerken, weil sie wenig Raum für Initiativen und Dialoge der Projektpartner und des Evaluators bieten und sich zusätzlich durch eine wenig entwickelte Konfliktkultur auszeichnen. Im Vergleich zur hierarchischen bietet die dezentrale Steuerung eines Netzwerks ein besseres Arbeitsfeld für den critical friend. Wo aber findet sich ein(e) Koordinator(in), die souverän genug ist, 1) sich durch dezentrale Steuerung des Netzwerks zu entlasten 2) neben der Bewältigung der bürokratischen Anforderungen auch Zeit und Kraft für die inhaltliche Steuerung einer EP zu finden 3) bei aller Belastung durch die Tagesarbeit Verständnis für Reflexionsprozesse zu haben und darüber hinaus aktiv und kompetent an ihnen teilzunehmen Solche Koordinatoren sind ideale Partner für den critical friend. Es gibt sie, aber sie sind selten. Eine einseitig externe Evaluation, die Bewertungsprozesse nach einem Kanon „objektiver“ oder sonstwie vorgegebener Kriterien vornimmt, auf Beratung und daraus folgende Nähe zum Prozeß aber verzichtet, vermißt den „idealen Koordinator“ allerdings nicht einmal.

Literatur Fricke, Werner (2005) „Sozialwissenschaftler in Entwicklungsprozessen. Zur Funktion ‚wissenschaftlicher Begleitung’ in Modellversuchen aus Sicht eines Aktionsforschers“ in: Heinz Holz/Dorothea Schemme (Hrsg) „Wissenschaftliche Begleitung bei der Neugestaltung des Lernens“, S. 40 - 51, Bonn: Bundesinstitut für Berufsbildung

7

Greenwood, Davydd J./Levin, Morten (1998) „Introduction to Action Research“, London: Sage Toulmin, Stephen/Gustavsen, Björn (eds) (1996): „Beyond Theory. Changing Organizations through participation“, Amsterdam: John Benjamins Van Beinum, Hans/Faucheux, Claude/van der Vlist, René (1996): „Reflections on the Epigenetic Significance of Action Research“ in: Toulmin/Gustanvsen (eds), l.c., p. 179 - 201

Über den Autor: Professor Dr. Werner Fricke ist Herausgeber der Zeitschrift „International Journal of Action Research“ (www.Hampp-Verlag.de) Email: [email protected]