Handbuch der Evaluationsstandards: Die Standards des „Joint Committee on Standards for Educational Evaluation“

290 Pages·2000·5.605 MB·German

by  James R. Sanders (auth.), James R. Sanders (eds.)

Handbuch der Evaluationsstandards
Joint Committtee on Standards
for Educational Evaluation
James R. Sanders (Hrsg.)
Handbuch der
Evaluations standards
Die Standards des "Joint Committee
on Standards
for Educational Evaluation"
Aus dem Amerikanischen übersetzt von
Wolfgang Beywl und Thomas Widmer.
Deutsche Ausgabe bearbeitet und ergänzt von
Wolfgang Beywl, Thomas Widmer und
Ja mes R. Sanders
2. durchgesehene Auflage
Leske + Budrich, Opladen 2000
Die Deutsche Bibliothek -CIP-Einheitsaufnahme
Handbuch der Evaluationsstandards. Die Standards des ,,Joint Committee on
Standards for Educational Evaluation". 2. durchges. Aufl. Wolfgang Beywl (Hrsg.) /
Opladen : Leske + Budrich, 2000
ISBN 978-3-8100-2766-5 ISBN 978-3-322-93234-1 (eBook)
DOI 10.1007/978-3-322-93234-1
@ 2000 Leske + Budrich, Opladen
Das Werk einschlieSlich aller seiner Teile ist urheberrechtlich geschiitzt. Jede Verwendung au.6erhalb
der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzuliissig und straf
bar. Das gilt insbesondere fUr Vervie1fii1tigungen, Obersetzungen, Mikroverfilmungen und die Einspei
cherung und Verarbeitung in elektronischen Systemen.
Satz: Leske + Budrich
Inhalt
Vorwort zur deutschsprachigen Ausgabe............ ..... .......................... ............. ....... 7
TEIL A - Übersetzung von The Program Evaluation Standards
Funktionales Inhaltsverzeichnis........................................... .................. ............. ... 13
Einladung an die Nutzer ..................................... ~................................................... 17
Vorwort .................................................................................................................. 19
Einführung.... ............... ...................... ..... ..... ........ .................. ................. ........... .... 23
Definitionen .......... .................. ............ ........... ................. ................ ............. ... 25
Wirkungsfeld der Standards ............................. ......................... .............. ....... 26
Vorgesehene Adressaten der Standards .......................................................... 27
Organisation und Inhalt der Standards ..................................... ........... ........... 27
Form der Standard-Präsentation ..................................................................... 29
Anwendung der Standards .............................................................. ....... ... ............. 31
Anwendung in einer Fallstudie ........................................................................ 35
Unser Ansinnen an die Nutzerinnen und Nutzer dieser Standards .................. 41
Checkliste zur Anwendung der Standards .... .... .......................... .......... ........... 42
Die Standards
N Nützlichkeitsstandards .................................................................................... 47
NI Ermittlung der Beteiligten & Betroffenen ............................................ 49
N2 Glaubwürdigkeit der Evaluatorin .......................................................... 55
N3 Umfang und Auswahl der Informationen ............................................. 61
N4 Feststellung von Werten ....................................................................... 67
N5 Klarheit des Berichts ............................................................................. 73
N6 Rechtzeitigkeit und Verbreitung des Berichts ....................................... 77
N7 Wirkung der Evaluation ........................................................................ 83
D Durchführbarkeitsstandards ............................................................................. 87
D1 Praktische Verfahren ............................................................................. 89
D2 Politische Tragfähigkeit ............................................ ........... ............. .... 95
D3 Kostenwirksamkeit ............................................................................... 101
6 Inhalt
K Korrektheitsstandards ...................................................................................... 107
Kl Unterstützung der Dienstleistungsorientierung ..................................... 109
K2 Formale Vereinbarungen ...................................................................... 115
K3 Schutz individueller Menschenrechte ................................................... 121
K4 Human gestaltete Interaktion ................................................................ 127
K5 Vollständige und faire Einschätzung .................................................... 133
K6 Offenlegung der Ergebnisse .................................................................. 139
K7 Deklaration von Interessenkonflikten ................................................... 145
K8 Finanzielle Verantwortlichkeit .............................................................. 151
G Genauigkeitsstandards ..................................................................................... 155
GI Prograrnmdokumentation ...................................................................... 157
G2 Kontextanalyse ...................................................................................... 163
G3 Beschreibung von Zielen und Vorgehen ............................................... 167
G4 Verläßliche Informationsquellen ........................................................... 171
G5 Valide Informationen ............................................................................. 175
G6 Reliable Informationen ......................................................................... 183
G7 Systematische Informationsüberprüfung .............................................. 189
G8 Analyse quantitativer Informationen .................................................... 195
G9 Analyse qualitativer Informationen ...................................................... 201
GI0 Begründete Schlußfolgerungen ............................................................. 207
G 11 Unparteiische Berichterstattung ............................................................ 211
G12 Meta-Evaluation .................................................................................... 215
Das Joint Committee .............................................................................................. 221
Danksagungen ........................................................................................................ 222
Bezeichnungen der Standards Deutsch-Englisch .................................................. 223
Glossar Deutsch-Englisch ..................................................................................... 225
TEIL B - Ergänzungen zur Deutschsprachigen Ausgabe
James R. Sanders, Aspekte der Entwicklung und Verbreitung der
Evaluationsstandards ............................................................................................. 237
Thomas Widmer und Wolfgang Beywl, Die Übertragbarkeit der
Evaluationsstandards auf unterschiedliche Anwendungsfelder ............................. 243
Wolfgang Beywl und Thomas Widmer, Die ,Standards' im Vergleich mit
weiteren Regelwerken zur Qualität fachlicher Leistungserstellung ...................... 259
Gesamt-Literaturverzeichnis ................................................................................. 297
Gesamt-Index ........................................................................................................ 305
Vorwort zur deutschsprachigen Ausgabe
Mit diesem Buch halten Sie die Übersetzung eines, wenn nicht des amerikanischen
Standardwerkes zur Evaluation in Händen. Seit 1981 (in der hier überarbeiteten
Fassung seit 1994) kodifizieren The Program Evaluation Standards des Joint Com
mittee on Standards Jor Educational Evaluation in den USA und darüber hinaus
auch für andere englischsprachige Evaluationsgemeinden den Grundkonsens der
Disziplin. Für den fortschreitenden Professionalisierungsprozeß der Evaluation ge
ben die Standards und ihr fortwährender institutionalisierter Revisionsprozeß1 wich
tige Impulse.
Mit der in den letzten Jahren auch in Deutschland, in Österreich und in der
Schweiz zu beobachtenden, zunehmenden Verbreitung der Evaluation in verschie
denen Bereichen öffentlichen und privaten Handelns sahen wir den Zeitpunkt ge
kommen, die Standards auch in deutscher Sprache zugänglich zu machen. Damit
möchten wir auch für die beginnende Diskussion über Leitlinien und Standards der
Evaluation Bezugsmaterialien für eine breite Lesergruppe verfügbar machen Als
Ort dafür sehen wir insbesondere die Deutsche Gesellschaft für Evaluation (DeGE
val) und die Schweizerische Evaluationsgesellschaft (SEVAL), wünschen uns dar
über hinaus aber auch eine Rezeption in anderen fachpolitischen und berufsver
bandlichen Zusammenschlüssen, deren Mitglieder mit Evaluationen befaßt sind.
Die vorliegende Publikation ist in zwei Teile aufgeteilt. Der Teil A) dieser Pu
blikation enthält die weitgehend wortgetreue Übersetzung des amerikanischen Ori
ginals, bestehend aus Texten zu insgesamt dreissig einzelnen Standards, die vier
übergreifenden Qualitätsthemen für Evaluationen zugeordnet sind. Für deren Be
zeichnung werden folgende deutsche Begriffe und Kennbuchstaben verwendet:
Englisch Deutsch
U Utility Standards N Nützlichkeitsstandards
F Feasibility Standards D Durchführbarkeitsstandards
P Propriety Standards K Korrektheitsstandards
A Accuracy Standards G Genauigkeitsstandards
Jeder der dreissig Standards formuliert eine thematisch spezifische, normative Aus
sage dazu, wie eine Evaluation auszugestalten ist, daß sie eine hohe Qualität er
reicht. Dabei werden nicht etwa buchstabengetreu einzuhaltende Regeln (z.B. im
Vgl. den Beitrag von James R. Sanders im Teil B dieses Buches.
8 Handbuch der Evaluationsstandards
Sinne von Mindeststandards) formuliert, sondern vielmehr konkrete Empfehlungen
dazu, wie in einer, dem zeitgemäßen Stand der Praxis entsprechenden Evaluation
verfahren werden sollte. Die mit den Standards gestellten Anforderungen sind oft
sehr anspruchsvoll und konkurrieren miteinander. Eine unter realen Bedingungen
stattfindende Evaluation vermag demzufolge kaum alle Standards gleichzeitig in
vollem Umfang zu erfüllen. Die Funktion der Standards besteht insbesondere darin,
Evaluationen in dem Bemühen um ,best practice' zu orientieren sowie systemati
sche Beurteilungen von Evaluationen (sog. Meta-Evaluation) anzuleiten. Sie richten
sich dabei nicht nur an Evaluatorinnen2, sondern ebenso an alle weiteren Personen,
die dazu einen Beitrag leisten können.
Die Standards wollen,
die Evaluatorinnen und alle weiteren, an Evaluationen beteiligte Personen dabei
unterstützen, qualitativ hochstehende Evaluationsprojekte zu realisieren;
den Auftraggebern und weiteren Adressaten einer Evaluation dabei behilflich
sein, deren Qualität einzuschätzen;
den mit der Aus- und Weiterbildung in Evaluation befaßten Personen ein di
daktisch aufbereitetes Material zur Verfügung stellen.
Die Standards sollten jedoch nicht schematisch angewendet werden. Bei konkreten
Evaluationen ist darauf zu achten, daß einzelne Standards aufgrund spezifischer
Rahmenbedingungen nicht oder nur in angepaßter Form angemessen sein könnten.
Anpassungen dieser Art sollten nicht willkürlich, sondern in begründeter und trans
parenter Weise erfolgen.
Im Teil A) sind dem aus den dreißig Standards bestehenden Kerntext einleiten
de und erläuternde Abschnitte vorangestellt, welche die Entstehung und Bedeutung
der Standards klären und Hinweise zu ihrer Anwendung geben.
Teil B) besteht vor allem aus drei Textbeiträgen, die speziell zur Ergänzung der
deutschen Übersetzung verfaßt wurden. James Sanders, der bis 1998 amtierende
Vorsitzende des Joint Committee on Standards for Educational Evaluation, setzt
sich in seinem Beitrag aus aktueller Sicht mit der Verbreitung und der Anwendung
der Standards in den USA auseinander. Im nachfolgenden Kapitel befassen wir uns
mit der Frage, ob und wie die aus dem amerikanischen Bildungs- und Erziehungs
sektor stammenden Standards auch auf Evaluationen im deutschsprachigen Raum
und auf Evaluationen zu anderen Themengebieten anwendbar sind. Unser zweiter
Beitrag stellt ca. 25 deutsch- und auch fremdsprachige Normenwerke vor, die Ähn-
2 Um der Gleichstellung der Geschlechter auch sprachlich zu ihrem Recht zu verhelfen, sind
wir im Text - soweit dies die Lesbarkeit und Nachvollziehbarkeit (besonders der Fallbeispie
le) nicht wesentlich einschränkt - folgender Regelung gefolgt: In der Übersetzung und in al
len ergänzenden redaktionellen Teilen wird ausschließlich die weibliche Form zur Bezeich
nung der evaluierenden Personen genutzt; die anderen Akteure erscheinen in der Regel in der
männlichen Form. Damit folgen wir dem in der Originalausgabe der Standards durchgängi
gen Bemühen, durch die pointierte Verwendung der weiblichen wie der männlichen gram
matikalischen Form präsent zu halten, daß sowohl Männer wie auch Frauen in der Evaluation
aktiv sind, und meiden den die Lesbarkeit oft erschwerenden Doppelgebrauch beider Genera.
Vorwort zur deutschsprachigen Ausgabe 9
lichkeiten oder Parallelen mit den Standards, aber auch wesentliche Differenzen zu
diesen aufweisen.
Die vorliegende Publikation enthält verschiedene Hilfsmittel, um die Arbeit mit
den Standards zu erleichtern: Neben dem gewohnten Inhaltsverzeichnis findet sich
auch eine funktionale Inhaltsübersicht, welche die in den verschiedenen Phasen des
Evaluationsprozeßes vorrangig zu nutzenden Standards erschließt. Am Ende des
Teils A steht sodann ein ausführliches zweisprachiges Glossar, welches das Ver
ständnis und die Rückverfolgbarkeit der verwendeten Begriffe in der englischspra
chigen Literatur erleichtern soll. Eine Bibliographie enthält die Hinweise auf die zi
tierte Literatur. Am Schluß des Buches findet sich zudem ein Index, welcher dem
Leser beim Auffinden interessierender Themen behilflich sein soll.
Bei der Erarbeitung der vorliegenden Publikation haben uns folgende Personen
freundlicherweise unterstützt: Monika Köller (Kairo), die wesentliche Teile der
Übersetzung in einer ersten Fassung erstellt hat; Helga Ott (Köln), die in umsichti
ger Weise das Sekretariat besorgte und auch nach dutzenden Überarbeitungsversio
nen stets die Übersicht behielt; Dip!. Psych. Volkmar Dieper und Dr. med. Michael
Langenbach (heide Universität zu Köln), deren Fachkenntnisse uns bei der Überset
zung psychologischer und medizinischer Fachtermini sehr hilfreich waren; Dr. Er
win Rüegg (Universität Zürich), der den Text vollständig durchsah und ihn von vie
len Mängeln und Unschönheiten befreite; Schahrzad Farrokhzad, die wertvolle Bi
bliotheksarbeiten und die Umsetzung des Index besorgte. Weiter konnten wir von
Beiträgen in der deutschsprachigen elektronischen Diskussionsliste forum-evalua
tion3 profitieren, besonders von den Hinweisen, die Kirsten Nazarkiewicz und Felix
Friedrich zur Übersetzung von ,object of an evaluation' (Evaluationsgegenstand)
und ,stakeholders' (Beteiligte & Betroffene) machten. Dem langjährigen Vorsitzen
den des Joint Committee on Standards for Educational Evaluation, James R. San
ders sowie dem Verleger der amerikanischen Originalausgabe, Sage Publications,
verdanken wir die Bereitschaft, eine Lizenzausgabe in deutscher Sprache zu erlau
ben. Der Verlag Leske + Budrich wiederum unterstützte uns nicht nur bei den Ar
beiten am Buch und besorgte das Layout dieser Publikation, sondern sorgte auch
für einen erfolgreichen Abschluß der Lizenzverhandlungen mit den amerikanischen
Partnern.
Ohne ein entsprechendes soziales Umfeld hätten wir die mit der vorliegenden
Publikation verbundenen Arbeiten nicht bewältigen können. Besonders dankbar
sind wir jenen Personen, die in verständnisvoller Weise das Entstehen dieser Publi
kation überhaupt erst zuließen: Hanne Bestvater und Henning sowie Isa Reinhard
und Nadja.
Wolfgang Beywl und Thomas Widmer
Köln und Zürich, im März 1999
3 Hinweise dazu auf den Webpages der Arbeitsstelle für Evaluation an der Erziehungswissen
schaftlichen Fakultät der Universität zu Köln (uni-koeln.de).
TeilA
Übersetzung von The Program Evaluation Standards
Funktionales Inhaltsverzeichnis
Die Standards sind in diesem Kapitel gruppiert nach den Hauptaufgaben einer Pro
grarnmevaluation dargestellt. Diese Art der Darstellung soll dem Nutzer zeigen, daß
die Standards im ganzen Evaluationsprozeß angewendet werden können, angefan
gen bei der Planung über die Durchführung bis hin zur Berichterstattung. Die funk
tionale Übersicht veranschaulicht zudem, daß einige Standards in der Regel für be
stimmte Evaluationsaufgaben besser anwendbar sind als andere. Es wäre jedoch ein
Fehler, lediglich die hier bezeichneten Standards für eine bestimmte Aufgabe beizu
ziehen, ohne daß geprüft worden wäre, ob auch andere relevant sein könnten.
Grundsätzlich sollten alle Standards in Betracht gezogen werden, wenn es darum
geht, ihre jeweilige Bedeutung für eine spezifische Evaluationsaufgabe einzuschät
zen.
Entscheidung über die Durchführung einer Evaluation
Wichtigste Standards:
NI Ermittlung der Beteiligten & Betroffenen .................................................. 49
N2 Glaubwürdigkeit der Evaluatorin ............................................................... 55
N7 Wirkung der Evaluation .................................................... .............. ........... 83
D2 Politische Tragfähigkeit ......................................... ................... ............. .... 95
D3 Kostenwirksamkeit ..................................................................................... 101
K1 Unterstützung der Dienstleistungsorientierung .......................................... 109
K2 Formale Vereinbarungen ............................................................................ 115
K7 Deklaration von Interessenkonflikten ......................................................... 145
GI Programmdokumentation ........................................................................... 157
G2 Kontextanalyse ........................................................................................... 163
G12 Meta-Evaluation ......................................................................................... 215
Definition des Evaluationsproblems
Wichtigste Standards:
NI Ermittlung der Beteiligten & Betroffenen .................................................. 49
Kl Unterstützung der Dienstleistungsorientierung .......................................... 109
GI Programmdokumentation ........................................................................... 157