Bildung sichtbar machen Education Feedback Management (EduFM) Prof. Dr. Christoph von Viebahn Fakultät IV – Wirtschaft und Informatik Hochschule Hannover Ricklinger Stadtweg 120, 30459 Hannover Email [email protected]

Abstract: Während pädagogische Wirkmechanismen in den vergangenen Jahren immer besser belegt wurden, bilden die im Bildungswesen eingesetzten Feedback Management Systeme diese Entwicklung nicht ab. Seitens der Objektgranularität wird auch an Hochschulen die Möglichkeit, erhobene feingranulare Daten zu Gruppen aggregiert auszuweisen, nicht unterstützt bzw. schlichtweg im Reporting nicht dargestellt. Wichtige Steuerungsinformationen zur Verbesserung der Lehrqualität stehen somit managementseitig nicht zur Verfügung. EduFM soll den erziehungswissenschaftlichen Forschungsstand mit den Erfahrungen zu Feedback Management im Unternehmensbereich fokussiert durch das Methodenspektrum multidimensionaler Datenanalyse (Business Intelligence) zusammenführen und einen Beitrag zur angewandten Forschung im Feedback Management leisten. Das Projekt setzt Vorarbeiten aus dem Länderprojekt SEIS fort.

1. Arbeitsinhalte In den Vorarbeiten haben sich bei bestehenden Systemen erhebliche Defizite gezeigt. So erreichen beispielsweise im schulischen Bereich eingesetzte Evaluationssysteme teils Rücklaufquoten von nur 45 %, obwohl 85 % in der Praxis häufig möglich sind [VAV12] mit entsprechenden negativen Auswirkungen auf die Datenqualität. Etwas Bewegung in die angebotenen Tests kommt derzeit durch die Hattie-Studie und daraus abgeleitete Ergebnisse ([SQA12] m.w.N. [Ha09]), in der neben standardisierten Tests auch der Einsatz von Diagnoseverfahren empfohlen wird. Es ergeben sich folgende Ansatzpunkte für das Projekt: 1.1 Mehrperspektivität / Triangulation Während mehrperspektivische Ansätze (Triangulation: Befragung von Schülern, Lehrern, Eltern, Ausbildern und Mitarbeitern) im schulischen Bereich häufig anzutreffen sind, sind derzeit im Hochschulbereich fast ausschließlich einperspektivische Ansätze anzutreffen (Befragung der Studierenden). Der jetzige Ansatz soll um die Befragtengruppen Lehrender, Mitarbeiter (z.B. Verwaltung, IT, HiWis) und Praktikumsunterneh-

146

men/Arbeitgeber erweitert werden. Die Aussagekraft der Ergebnisse kann dadurch erheblich gesteigert werden. 1.2 Zeitgranularität Je nach konkreter Fragestellung sind verschiedene zeitliche Granularitäten sinnvoll bzw. erforderlich. Während eine Befragung der Alumnis in einem mehrjährigen Abstand sinnvoll ist, sind für die Evaluation der gehaltenen Lehre kürzere Intervalle (z.B. semesterweise) erforderlich. Diese unterschiedlichen Aggregationsstufen gilt es in Analyse und Darstellung gegenüberzustellen. 1.3 Referenzierung Sowohl im Schul- als auch im Hochschulbereich scheint die Bedeutung von Referenzwerten bei den Nutzern eine Glaubensfrage zu sein. Methodisch gesehen sind Referenzwerte jedoch absolut erforderlich, sowohl auf Itemebene, als auch übergeordnet. Die Zustimmung zu unterschiedlichen vorformulierten standardisierten Items fällt Befragten unterschiedlich leicht/schwer (sogenannte Itemschwierigkeit). Eine belastbare Interpretation ist demnach nur unter Einbeziehung von Referenzwerten möglich – diese fehlen oft komplett. Hierzu soll ein entsprechendes Verfahren entwickelt werden. In diesem Zusammenhang sind weiterhin die Aspekte des fairen Vergleichs (Einbeziehung sozialer Faktoren der jeweiligen Grundgesamtheit) sowie unterschiedlicher fachbezogener Schwierigkeiten einbeziehen (siehe [Ri03]). So ist anzunehmen, dass z.B. Veranstaltungen in Mathematik grundsätzlich schlechter evaluiert werden, als Lehrangebote zu Sozialer Kompetenz. 1.4 Datenintegration Ergebnisse aus der Lehrevaluation und Statistische Kennzahlen bzw. Verwaltungskennzahlen werden bislang fast ausnahmslos getrennt betrachtet. EduFM soll Feedback und Key Performance Indicators (KPIs) in eine integrierte, qualitätsgesicherte Datenbasis (Data Warehouse) zusammenführen und gegenüberstellen. Eine Abstimmung hochschulinterner und landesweiter Kennzahlensysteme (TJK09) ist vorzusehen. 1.5 Befragungsform und Entry Points Da die Befragungsform entscheidende Auswirkungen auf die Rückläufe und damit unmittelbar auf die Datenqualität hat, sollen für unterschiedliche Befragtengruppen empirische Daten zu Rückläufen erhoben und optimale Befragungsformen empfohlen werden. Hieraus ergeben sich Auswirkungen auf mögliche Evaluationsverfahren. In aller Regel

147

wird der Einsatz vollhybrider Systeme erforderlich sein, der sowohl (anteilige) Online-, als auch Papierbefragungen zulässt und zusammenführt. Trends zukünftiger Entry Points sollen aufgezeigt werden (mobile Endgeräte, wie Tablets und Smartphones) und deren Auswirkungen auf die Reliabilität der Daten bewertet werden. 1.6 Reporting Das Projekt soll ein Reporting angelehnt an Management-Cockpits aus dem Controlling liefern, welches Evaluationsdaten und Statistische Kennwerte (KPIs) gegenüberstellt. Darüber hinaus ist die Möglichkeit einer interaktiven Analyse der integrierten, multidimensionalen Datenbasis (OLAP) vorgesehen. Derzeitige Auswertungen liefern eine Vielzahl von Einzelauswertungen, die selbst für den eingearbeiteten User schwer zu überschauen sind. Vor allem mehrdimensionale Kennzahlensysteme sollen hier zur Unterstützung der internen Planungs- und Entscheidungsprozesse beitragen [KF08].

Literaturverzeichnis [Ha09]

Hattie, J.: Visible Learning. A synthesis of over 800 meta-analyses relating to achievement. Routledge, London & New York, 2009 [KF08] Kienegger, H.; Felden, C.: Das Balanced-Scorecard-Konzept zur Lehrstuhl-Steuerung. In: Bichler, M.; Hess, T.; Krcmar, H.; Lechner, U.; Matthes, F.; Picot, A.: Tagungsband der Multikonferenz Wirtschaftsinformatik 2008. München. GITO, Berlin, 2008; S.181192. [Ri03] Rindermann, H.: Lehrevaluation an Hochschulen: Schlussfolgerungen aus Forschung und Anwendung für Hochschulunterricht und seine Evaluation. In: Zeitschrift für Evaluation (ZfEv) 05/2003; S.233-256 [SQA12] Schulqualität Allgemeinbildung Österreich (ed.): Die Hattie-Studie. 2012. 26S. [TJK09] Täschner, M., Jaspersen, T., Krause, M.: Nichtmonetäres Controlling der Lehrleistungen an der Fachhochschule Hannover. Arbeitspapier aus der Fakultät für Wirtschaft und Informatik der Fachhochschule Hannover. Hannover, 2009. 95S. [VAV12] von Viebahn, C.; Asselmeyer, H. & P. von Viebahn: Schule von innen gestalten. Mit großen Gruppen arbeiten. In: Schulleitung und Schulentwicklung. Raabe Verlag, Stuttgart, Juli 2012; 24S.

148