ebook img

Lehrbuch Evaluation PDF

357 Pages·1998·1.442 MB·German
Save to my drive
Quick download
Download
Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.

Preview Lehrbuch Evaluation

Heinrich Wottawa Heike Thierau n o Lehrbuch i t Evaluation a u l a v E u a r e i h Das Lehrbuch vermittelt ein fundiertes T Verständnis für die Möglichkeiten und . H Grenzen sozialwissenschaftlich gestützter Evaluation bei den Betroffenen,den / Entscheidungsträgern und den potentiel- 2.,vollständig a 2.,vollständig len Evaluatoren. In der zweiten Auflage w werden ergänzend dazu auch die Grund- überarbeitete überarbeitete sätze des Qualitätsmanagements nach a Auflage Auflage DIN ISO 9000 dargestellt. t t o W . H 2. Aufl. Verlag Hans Huber Verlag Bern•Göttingen•Toronto•Seattle Hans Huber 5 Inhaltsverzeichnis Vorwort zur zweiten Auflage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Vorwort zur ersten Auflage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1. Wissenschaft, Moral und die Grenzen der Planbarkeit . . . . . . . . . . . . . 13 1.1 Definitionsversuche von «Evaluation» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2 Wissenschaft und moralische Verantwortung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.3 Handlungsoptimierung durch Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2. Grundlagen sozialwissenschaftlich gestützer Evaluation . . . . . . . . . . . . . . . . 23 2.1 Zielsetzungen bei Evaluationsvorhaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.1.1 Grundlagen für die Akzeptanz von Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.1.2 Nutzenerwartung des Auftraggebers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.1.3 Schwerpunkte konkreter Evaluationsprojekte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.2. Wissenschaft als mögliche Grundlage von Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.2.1 Evaluation als wissenschaftsgestütztes Handeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.2.2 Nutzen der Wissenschafts-Beiträge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.2.3 Alternativen zur wissenschaftsgestützten Evaluation . . . . . . . . . . . . . . . . . . . . . . . . 42 2.2.4 Qualitätsmanagement nach DIN-EN-ISO-9000ff. . . . . . . . . . . . . . . . . . . . . . . . . . . 43 2.3 Verfügbarkeit von Evaluatoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 2.3.1 Rollenvielfalt des Evaluators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.3.2 Rechtliche Rahmenbedingungen von evaluatorischer Tätigkeit . . . . . . . . . . . . . . . . 46 2.3.3 Persönliche Voraussetzungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3. Einsatzgebiete psychologischer Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 55 3.1 Gestaltungsaspekte von Evaluationsstudien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 3.1.1 Evaluationsziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 3.1.2 Evaluationsbereich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 3.1.3 Evaluationsobjekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.1.4 Ort der Evaluierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 3.1.5 Evaluationsmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 3.1.6 Evaluationsnutzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 6 Inhaltsverzeichnis 3.2 Evaluation als interdisziplinäres Feld . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3.2.1 Notwendigkeit einer einzelne Evaluationsbereiche überschreitenden Vorgehensweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3.2.2 Vergleich BRD/USA: Stand der Evaluationsforschung . . . . . . . . . . . . . . . . . . . . . . . . 67 3.2.3 Strukturelle Gemeinsamkeiten «idealer» Evaluationsstudien . . . . . . . . . . . . . . . . . . 68 3.3 Grundlagen und Probleme der Evaluationsforschung dargestellt am Beispiel konkreter Evaluationsprojekte . . . . . . . . . . . . . . . . . . . . . . . . . 70 3.3.1 Evaluation in der Wirtschaft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 3.3.2 Evaluation im Schul- und Bildungswesen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 3.3.3 Evaluation im forensischen Bereich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4. Zielexplikation und Bewertungskriterien . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.1 Zielexplikation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.1.1 Zielgruppenbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.1.2 Konkretisierung des Evaluationsobjektes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.1.3 Antizipatorische Ergebnisverwertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.2 Bewertungsprozeß . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.2.1 Auswahl der Bewertungskriterien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 4.2.2 Nebenfolgenabschätzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 4.2.3 Operationalisierungfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 4.3 Bewertungs- und Entscheidungshilfen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 4.3.1 Explizite Verfahren der Nutzenbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 4.3.2 Expertengestützte Entscheidungsfindung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4.3.3 Entscheidungsfindung durch Betroffene . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 4.3.4 Grenzen objektiver Nutzenbewertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 5. Planung von Evaluationsprojekten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 5.1 Projektmanagement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 5.1.1 Informationen zu Projektdetails und Rahmenbedingungen . . . . . . . . . . . . . . . . . . . 114 5.1.2 Vorläufiger Arbeitsplan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 5.1.3 Zeit- und Kostenabschätzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 5.2 Designfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 5.2.1 Fehlerquellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 5.2.2 Untersuchungspläne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 5.2.3 Datenerhebungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 5.3 Auswertungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 5.3.1 Beurteilung der Effektstärke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 5.3.2 Auswertungsverfahren auf der Basis allgemeiner linearer Modellansätze . . . . . . . . . 138 5.3.3 Qualitative Auswertungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 7 Inhaltsverzeichnis 6. Durchführung von Evaluationsstudien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 6.1 Organisatorische Fragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 6.1.1 Fragen der Personalführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 6.1.2 Kontrolltechniken des Projektverlaufes und des Konfliktmanagements . . . . . . . . . . 148 6.1.3 Unerwartete Störfälle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 6.2 Auswertungsarbeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 6.2.1 Kontrolle der Datenqualität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 6.2.2 Datenschutz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 6.2.3 Auswertungspläne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 6.3 Berichtlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 6.3.1 Zielgruppenanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 6.3.2 Informationsverdichtung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 6.3.3 Mündliche Präsentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 7. Ausblick: Bewertung sozialwissenschaftlicher Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 7.1 Bewertungskriterien einzelner Evaluationsvorhaben . . . . . . . . . . . . . . . . . . . . . . . . . . 165 7.2 Evaluation als gesellschaftliches Gestaltungsprinzip . . . . . . . . . . . . . . . . . . . . . . . . . . 166 7.3 Zukunftsperspektiven . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 8. Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 9. Stichwortverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 Aus dem Programm Huber: Psychologie Lehrbuch Wissenschaftlicher Beirat: Prof. Dr. Dieter Frey, München Prof. Dr. Kurt Pawlik, Hamburg Prof. Dr. Meinrad Perrez, Freiburg (Schweiz) Prof. Dr. Hans Spada, Freiburg i.Br. Heinrich Wottawa Heike Thierau Lehrbuch Evaluation Zweite, vollständig überarbeitete Auflage Verlag Hans Huber Bern · Göttingen · Toronto · Seattle Umschlagbild: Ausschnitt aus dem Triptychon «Das jüngste Gericht» (1443) von Roger van der Weyden (Musée Hôtel-Dieu, Beaune, Burgund). Der Erzengel Michael bei der Durchführung der «ultimativen Evaluation». Adresse des Erstautors: Prof. Dr. Heinrich Wottawa Ruhr-Universität Bochum Fakultät für Psychologie/Methodenlehre, Diagnostik und Evaluation D-44780 Bochum E-mail: [email protected] Die Deutsche Bibliothek – CIP-Einheitsaufnahme Wottawa, Heinrich: Lehrbuch Evaluation/Heinrich Wottawa und Heike Thierau. – 2., vollst. überarb. Aufl. – Bern ; Göttingen ; Toronto ; Seattle: Huber, 1998 (Aus dem Programm Huber: Psychologie-Lehrbuch) ISBN 3-456-82989-2 2., vollständig überarbeitete Auflage 1998 © Verlag Hans Huber, Bern 1998 Satz und Druck: Konkordia Druck GmbH, Bühl Printed in Germany 145 6. Durchführung von Evaluationsstudien Je sorgfältiger die Planungsarbeiten durchge- führen kann), und die vor allem im wirtschafts- führt wurden, um so weniger prinzipielle Pro- nahen Bereich sehr elaborierten Darstellungs- bleme wird die Durchführung des konkreten hilfen (Medien bei Vorträgen, optische Auflok- Projektes machen. Trotzdem wäre es eine Illu- kerung) werden an der Universität nur selten sion, außerhalb von sehr kleinen und über- in vergleichbar intensiver Weise gepflegt. Hin- schaubaren Projekten von einer reibungslosen weise zu solchen Fragen gibt Abschnitt 6.3. Durchführung auszugehen. Zumindest bei län- gerfristigen Vorhaben sind Schwierigkeiten im 6.1 Organisatorische Fragen Bereich der Organisation zu erwarten, typische Beispiele und Maßnahmen für deren partielle Behebung werden im Abschnitt 6.1 diskutiert. Die wichtigsten Organisationsprobleme finden Weniger mit Unsicherheiten behaftet ist die sich im Bereich des Personals – sowohl bei den sachgerechte Durchführung der Auswertungs- Projektmitarbeitern, als auch bei Auftraggebern arbeiten, doch muß man auch dort auf eine oder anderen für die Durchführung erforderli- sorgfältige Fehlerkontrolle und die Einhaltung chen Kontaktpersonen (zum Beispiel Lehrer, der Vertraulichkeits- bzw. Datenschutzbestim- Verwaltungsbeamte etc.). Zumindest für die ei- mungen achten. Bei aller Mühe aber nicht ver- genen Mitarbeiter kann man einige Schwierig- meidbar ist das prinzipielle Problem, daß von keiten vermeiden, wenn man rechtzeitig auch der unübersehbaren Vielzahl der denkbaren deren Einschulungsbedürfnisse und ihre per- Auswertungen nur ein kleiner Teil erfolgen sönlichen Interessen, zum Beispiel im Hinblick kann und diese Auswahl stets mit dem Vorwurf auf ihre weitere berufliche Entwicklung, bei der von «Manipulation» rechnen muß. Fragen die- Projektplanung und der Personalführung be- ser Art werden im zweiten Abschnitt dieses Ka- achtet (6.1.1). Darüber hinaus muß man sich pitels besprochen (6.2). im klaren sein, daß größere Vorhaben nicht ohne explizite Kontrolltechniken durchgeführt Am Schluß des Evaluationsprojektes steht meist werden können, wenn man vermeiden will, eine schriftliche, oft durch eine mündliche Prä- daß sich am Ende einer zum Beispiel zweijähri- sentation ergänzte Berichtlegung an den Auf- gen Arbeitsphase nicht mehr behebbare Pro- traggeber, ggf. auch an andere Instanzen (zum bleme auftürmen und u.U. das ganze Projekt Beispiel Öffentlichkeit, Schulleiter). Die damit ergebnislos abgebrochen werden muß. Einige verbundenen Darstellungs- und Kommunika- Hinweise, die eine entsprechend sorgfältige Ein- tionsprobleme werden von Akademikern ohne arbeitung natürlich nicht ersetzen können, fin- einschlägige Erfahrung oft unterschätzt. Man den sich im Abschnitt 6.1.2. lebt innerhalb einer universitären Bezugs- Nahezu alle Organisationsprobleme lassen gruppe in einem für Außenstehende schwer sich lösen, wenn man rechtzeitig an ihr Auftre- nachvollziehbaren Abstraktionsniveau, einer ten denkt, also eine (in den Evaluations-Begrif- fachspezifischen Begriffsbildung (die leider fen gemäß Diagramm II/2) «antizipatorische In- nicht nur manchmal unverständlich ist, son- put-Evaluation» für das eigene Projekt mit dern auch zu Mißverständnissen bei «Laien» ausreichender Aussagekraft anstellt.

See more

The list of books you might like

Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.