Evaluationsforschung: Aufgaben, Probleme und Anwendungen

556 Pages·1985·24.83 MB·German

by  Werner W. Wittmann (auth.)

Lehr- und Forschungstexte
Psychologie 13
Herausgegeben von
D.Albert, K.Pawlik, K.-H.Stapf und W.Stroebe
W
Werner Wittmann
Evaluationsforschu ng
Aufgaben, Probleme und Anwendungen
Spri nger-Verlag
Berlin Heidelberg New York Tokyo
Autor
Werner W. Wittmann
Albert-Ludwigs-Universitat, Psychologisches Institut
Peterhof, 0-7800 Freiburg
Die Drucklegung dieses Suches erfolgte durch Forderung der
~ GPT e. V. (GPT . Gesellschaft fOr Psychosomatische Therapie e. V.)
l.t6J
Dusseldorf
ISBN-13: 978-3-540-15529-4 e-ISBN-13: 978-3-642-82539-2
001: 10.1007/978-3-642-82539-2
Das Werk ist urheberrechtlich geschOtzt. Die dadurch begrOndeten Rechte, insbesondere die
der Obersetzung, des Nachdrucks, der Entnahme von Abbildungen, der Funksendung, der
Wiedergabe auf photomechanischem oder ahnlichem Wege und der Speicherung in Daten
verarbeitungsanlagen bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten.
Die VergOtungsansprOche des § 54, Abs. 2 UrhG werden durch die ,Verwertungsgesellschaft
Wort', MOnchen, wahrgenommen.
© by Springer-Verlag Berlin Heidelberg 1985
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem
Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, daB solche
Namen im Sinne der Warenzeichen-und Markenschutz-Gesetzgebung als frei zu betrachten
waren und daher von jedermann benutzt werden dOrften.
FUR ELKE
UND UNSERE KINDER
CLAUDIA UND MICHAELA
o. Vorwort
Arbeiten dieser Art haben eine lange Vorgeschichte, in
der viele Personen Anregungen und Hilfestellungen gege
ben haben, die bei Fertigstellung und AbschluB nicht mehr
direkt aus dem Gedachtnis des Autors abrufbar sind.
Auf die Gefahr hin, den einen oder anderen nicht zu be
rlicksichtigen, mochte ich mich dennoch bei einer Reihe
von Personen bedanken.
Vor allem zu nennen sind meine frliheren Studenten und
heutigen Kollegen Jlirgen BENGEL, Ulrike JUNGE, Hans
Joachim KOKOTT, Jorg MATT, Jlirgen SCHMIDT und Heinz
Martin sUSS. Sie fanden meine Diplomarbeitsthemen in
teressant genug, urn ihre Intelligenz, Motivation und
ihr Engagement in wei taus liberdurchschnittliche Arbei
ten urnzusetzen, die mit zurn Fundament dieser Abhandlung
beigetragen haben. Wenn ich in dieser Arbeit haufiger
zurn "wir" greife, so ist dies als eine Referenz an die
sen Personenkreis gedacht. Eventuelle Fehler sind selbst
verstandlich mir anzulasten.
Wegen der groBzligigen Uberlassung von empirischen For
schungsdaten flir Zwecke der Re- und Sekundaranalyse bin
ich folgenden Personen zu Dank verpflichtet: Prof. Dr.
J. FAHRENBERG, Prof. Dr. A.O. JAGER, Prof.Dr. H. C.
MAURER, Prof. Dr. M. MYRTEK und Prof. Dr. J.R. NESSEL
ROADE.
Frau Susanne WEBER besorgte unter enormem Zeitdruck mit
Umsicht die Reinschrift des Manuskripts. Frau Annette
SONDHAUSS fertigte den groBten Teil der Abbildungen an.
Jlirgen MERZ und Karl KREUTEL halfen beim Korrekturlesen.
Der groBte Anteil geblihrt jedoch meiner Frau Elke. Sie
VI
ist die einzige Person, die meine Handschrift in eine
korrigierbare Vorlage transkribieren kann und die mich
in allen Phasen dieser Arbeit massiv unterstlitzte.
Freiburg i.Br., 1m Marz 1984
Werner W. Wittmann
Inhaltsverzeichnis
1. Einleitung: Evaluationsforschung, intellektu
elle und praxisrelevante Herausforderungen an
die Psychologie 1
2. Wesentliche Komponenten der historischen Ent-
wicklung der Evaluationsforschung 4
3. Evaluation, Evaluationsforschung und Programm-
evaluation 17
3.1 Bestimmungsstlicke und Definitionen 17
3.2 Ein Ablaufschema zur Auswahl verschiedener
Methoden der Programmevaluation 27
3.3 Konfliktpotentiale zwischen Wissenschaft
und Politik im Rahmen der Evaluationsfor-
schung 30
3.4 Die vielen Gesichter der Evaluationsfor
schung: Modelle, Ansatze, Betrachtungs-
weisen 40
4. Grundlagen einer allgemeinen MeB- und For-
schungsstrategie flir die Evaluationsforschung 50
4.1 Die "kleine" MeBtheorie von BORUCH &
GOMEZ flir Evaluationsforschung im Feld 50
4.2 Das Symmetrieprinzip zwischen Pradiktoren
und Kriterien als Voraussetzung adaquater
Validierungsstrategien 61
4.3 Das Konzept der Kovarianzzerlegung der
CATTELL'schen Datenbox als Grundlage einer
allgemeinen Reliabilitats- und Validitats-
theorie 74
4.3.1 Die Set-Korrelation als Methode der
Beschreibung der statistischen Zu
sammenhange zwischen verschiedenen
Datenboxen 101
VIII
4.3.2 Auswege aus dem Problem der Para-
meter- bzw. Faktoreninflation 110
4.4 Konkrete empirische Untersuchungen zur
Demonstration der MeB- und Forschungs-
strategien 117
4.4.1 Der Zusammenhang PR-, NTR- und
KR-Box: Die "Instructional Dimen
sions Study" von COOLEY Be LEIN-
HARDT 118
4.4.2 Der Zusammenhang PR-, ETR- und
KR-Box: Eine experimentelle Unter
suchung zu einem Rehabilitations
programm fur Straffallige von
DOBSON Be COOK 135
4.4.3 Der Zusammenhang PR- und KR-Box:
Das multivariate Vorhersageproblem 143
4.4.4 Datenboxzerlegungen 145
4.4.4.1 Eine Langsschnittuntersu
chung aus dem Alltag einer
Herz-Kreislauf-Klinik 145
4.4.4.2 Die Konstanzer Langsschnitt
untersuchung zur Veranderung
von Lehrereinstellungen. Eine
Reanalyse ausgewahlter Daten 157
4.4.4.3 Datenboxreplikationen: Ana
lyse einer Untersuchung zur
Zustandsangst 171
4.4.5 Zusammenfassende Bewertung und Dis
kussion der Grenzen der Beispiels-
untersuchungen 176
4.5 Stellenwert des Experimentes, des Quasi
Experimentes, der nichtexperimentellen
Methoden und der quantitativen vs. quali
tativen Ansatze in der Evaluationsfor-
schung 180
5. Datenanalysestrategien und verschiedene Ver-
suchsplane 208
5.1 Eine Klassifikation von univariaten, mul
tiplen und multivariaten Datenanalysestra-
tegien und Versuchsplanen 216
IX
5. L 1 Multiple Versuchsplane 220
5.1.2 Multivariate Versuchsplane 227
5.1.3 Univariate Versuchsplane 234
5.1.4 Kovarianzanalytische Plane bzw.
Analyse partieller Varianz 235
5.1.5 Faktorenanalytische Plane 238
5.1.6 Kausale Modellbildung, Struktur-
gleichungsmodelle 240
5.2 Datenboxzerlegungen und das MRC-Konzept 242
5.3 Kriterienarten, Fragestellungen, beab
sichtigte Konstruktebene und Aggrega-
tionsniveau 247
6. Grundlagen und Probleme von Bewertungen und
Beurteilungen 262
6.1 Betrachtungen zum Begriff "Wert" in der
Evaluationsforschung 263
6.2 Urteilsbildungsforschung: Relevante Er-
gebnisse fur Bewertung und Entscheidung 273
6.2.1 Eine Matrix von Untersuchungsfor
men mit verschiedenen Konsequenzen
fur Beurteilung und Bewertung 276
6.2.2 Der Streit klinische vs. statisti
sche Urteilsbildung und dessen Im
plikationen fur die Evaluations-
forschung 288
6.2.3 Eine Taxonomie von typischen Feh
lern bei Urteilsbildung, Bewertung
und Entscheidung 298
6.3 Hilfen bei der Beurteilung, Bewertung und
Entscheidung 307
6.3.1 Multimethodale Diagnostik 314
6.3.2 Die Delphi-Technik 317
6.3.3 Goal-attainment-scaling (GAS) 320
x
6.3.4 Multiattributive Nutzentechnologie
(MAUT) 329
6.3.5 Soziale Urteilsbildungstechnologie
(SJT) 334
6.4 Kosten-Nutzen- und Kosten-Effektivitat
als Bewertungsgrundlage 342
6.5 Eine Evaluationsstudie zur Diagnostik
von chronischen nichtspezifischen Atem
wegserkrankungen (CNSRD): Implementation
eines Diagnoseverfahrens, Bewertung und
potentieller Nutzen 361
6.5.1 Uberprufung der Implementation des
Testfragebogens zur verbesserten
CNSRD-Diagnostik 365
6.5.2 Stellenwert der verbesserten Dia
gnostik im Rahmen einer umfassen-
den Evaluationsstrategie 381
6.5.3 Potentieller Nutzen der verbesser-
ten CNSRD-Diagnostik 390
6.5.4 Konkrete Empfehlungen aus der
CNSRD-Studie 399
7. Meta-Evaluation: Die Bewertung, Integration
und Synthese von Evaluationsstudien und For-
schungsergebnissen 401
7.1 Sekundaranalyse, eine Strategie zur
Uberprufung und Steigerung der Quali
tatsstandards von Evaluationsstudien
und Minimierung einseitiger Bewertung 403
7.2 Meta-Analyse, die Synthese von For-
schungsarbeiten 408
7.2.1 Integration und Synthese durch
Kumulation von Effektstarken:
Meta-Analyse nach GLASS 410
7.2.2 Integration und Synthese durch
Kumulation von Effektstarken:
Meta-Analyse nach HUNTER & SCHMIDT 412
XI
7.2.3 Integration und Synthese durch
Kombination von P-Werten:
Meta-Analyse nach ROSENTHAL 415
7.2.4 Kritik am Konzept der Meta-Analyse:
Starken und Schwachen des Ansatzes 417
7.3 Eine Meta-Analyse zur Effektivitat
deutschsprachiger Psychotherapie 428
7.4 SchluBfolgerungen und Konsequenzen aus
Empirie und Theorie der Meta-Evaluation 451
8. Rahmenbedingungen erfolgreicher Evaluations-
forschung 455
9. Zusammenfassung 468
Literatur 471
Anhang 507
Anhang A: Beispiel einer Datenbox-
zerlegung 508
Anhang B: Information zum Konstanzer
Langsschnitt 511
Anhang C: Information zum Berliner
Intelligenzmodell 516
Anhang D: Testfragebogen: Chronische
Bronchitis 519