Klein aber fein!: Quantitative empirische Sozialforschung mit kleinen Fallzahlen PDF
Preview Klein aber fein!: Quantitative empirische Sozialforschung mit kleinen Fallzahlen
Peter Kriwy · Christiane Gross (Hrsg.) Klein aber fein! VS RESEARCH Forschung und Entwicklung in der Analytischen Soziologie Herausgegeben von Prof.Dr.Monika Jungbauer-Gans,Christian-Albrechts-Universität Kiel Die Reihe nimmt die Forderung der Analytischen Soziologie auf,dass sich die sozio- logische Theoriediskussion stärker auf erklärende soziale Mechanismen konzentrie- ren sollte.Die Analytische Soziologie sucht nach präzisen,handlungstheoretisch fundierten Erklärungen für soziale Phänomene.Dabei soll eine Balance zwischen einer abstrahierenden und einer realitätsgerechten Theoriebildung gehalten wer- den.Im Vordergrund der Reihe steht nicht die Theorieentwicklung und -diskussion, sondern die empirische Umsetzung,die sich den skizzierten theoretischen Grund- sätzen verpflichtet fühlt.Der handlungstheoretischen Fundierung widerspricht nicht, dass auch Makrophänomene und insbesondere die Wechselwirkungen zwischen Strukturen und Individuen untersucht werden.Die Reihe bietet in Folge dessen ein Forum für NachwuchswissenschaftlerInnen,welche die theoretischen Überlegun- gen der Analytischen Soziologie konsequent in empirischen Untersuchungen um- setzen. Peter Kriwy Christiane Gross (Hrsg.) Klein aber fein! Quantitative empirische Sozialforschung mit kleinen Fallzahlen Mit einem Geleitwort von Prof. Dr. Monika Jungbauer-Gans VS RESEARCH Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie;detaillierte bibliografische Daten sind im Internet über <http://dnb.d-nb.de> abrufbar. 1.Auflage 2009 Alle Rechte vorbehalten © VS Verlag für Sozialwissenschaften | GWV Fachverlage GmbH,Wiesbaden 2009 Lektorat:Christina M.Brian /Britta Göhrisch-Radmacher VS Verlag für Sozialwissenschaften ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.vs-verlag.de Das Werkeinschließlichallerseiner Teile ist urheberrechtlich geschützt.Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohneZustimmungdes Verlags unzulässig und strafbar.Das gilt insbesondere für Vervielfältigungen,Übersetzungen,Mikroverfilmungen und die Einspei- cherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen,Handelsnamen,Warenbezeichnungen usw.in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme,dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung:KünkelLopka Medienentwicklung,Heidelberg Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Printed in Germany ISBN 978-3-531-16526-4 Geleitwort Mit dem Band „Klein aber fein!“ setzen Peter Kriwy und Christiane Gross die Reihe „Forschung und Entwicklung in der Analytischen Soziologie“ fort. Sie rücken mit dieser Zusammenstellung ein Thema in den Vordergrund, das lange ein Schattendasein geführt hat. So ist das Streben der quantitativ-empirischen Sozialforschung gemäß den Lehrsätzen der Stichproben- und Testtheorie an möglichst hohen bzw. für differenzierte statistische Verfahren ausreichenden Fallzahlen orientiert, während Studien mit kleinen Fallzahlen dem Generalver- dacht verzerrter Auswahl ausgesetzt sind. Die versammelten Texte sind insofern der Analytischen Soziologie ver- pflichtet, als sie soziale Mechanismen als Grundlage der Erklärung von Handeln und sozialen Phänomenen betrachten. Diese Auffassung ist bei den Praxisbei- spielen im zweiten Teil des Bandes offensichtlicher als bei den methodologi- schen Texten im ersten Teil. Der angemessene methodologische Umgang mit den Problemen kleiner Fallzahlen ist jedoch eine zwingende Voraussetzung, den herrschenden Vorurteilen zu begegnen und – nicht zuletzt durch die Verbreitung und Weiterentwicklung von Erhebungs- und insbesondere von Auswertungsme- thoden – Möglichkeiten aufzuzeigen, die Resultate dieser Studien stärker in den Prozess wissenschaftlicher Diskussion einzubeziehen. Mit diesem Band wird gleichzeitig ein Beitrag geleistet zur Integration von Theorie und Forschungsme- thodik. Die Restriktionen, die durch kleine Fallzahlen entstehen, lassen eine theoretische Beschäftigung mit den untersuchten sozialen Prozessen und eine Beschränkung auf zentrale soziale Mechanismen sinnvoll erscheinen, die wie- derum einen Rückbezug und eine Abstraktion der Forschungsresultate auf theo- retische Überlegungen erleichtern. Prof. Dr. Monika Jungbauer-Gans Inhaltsverzeichnis Christiane Gross und Peter Kriwy Kleine Fallzahlen in der empirischen Sozialforschung............................9 Nicole J. Saam Computersimulationsmodelle für kleine und kleinste Fallzahlen...........23 Andreas Broscheid Bayesianische Ansätze zur Analyse kleiner Fallzahlen..........................43 Antje Buche und Johann Carstensen Qualitative Comparative Analysis: Ein Überblick.................................65 Ben Jann Diagnostik von Regressionsschätzungen bei kleinen Stichproben (mit einem Exkurs zu logistischer Regression)......................................93 Simone Wagner Datenerhebung bei Spezialpopulationen am Beispiel der Teilnehmer lokaler Austauschnetzwerke.................................................................127 Jochen Groß und Christina Börensen Wie valide sind Verhaltensmessungen mittels Vignetten? Ein methodischer Vergleich von faktoriellem Survey und Verhaltens- beobachtung.........................................................................................149 Katrin Auspurg, Martin Abraham und Thomas Hinz Die Methodik des Faktoriellen Surveys in einer Paarbefragung..........179 Natascha Nisic und Katrin Auspurg Faktorieller Survey und klassische Bevölkerungsumfrage im Vergleich – Validität, Grenzen und Möglichkeiten beider Ansätze.....211 8 Inhaltsverzeichnis Martin Abraham und Thess Schönholzer Pendeln oder Umziehen? Entscheidungen über unterschiedliche Mobilitätsformen in Paarhaushalten.....................................................247 Andreas Broscheid Ist das neunte amerikanische Berufungsgericht liberaler als die anderen Bundesberufungsgerichte?......................................................269 Frank Arndt Wie weit kommt man mit einem Fall? Die Simulation internationaler Verhandlungen am Beispiel der Amsterdamer Regierungskonferenz 1996......................................................................................................293 Andreas Techen Freundschafts- und Ratgebernetzwerke unter Studienanfängern.........323 Werner Georg, Carsten Sauer und Thomas Wöhler Studentische Fachkulturen und Lebensstile – Reproduktion oder Sozialisation?.......................................................................................349 Heiko Rauhut, Ivar Krumpal und Mandy Beuer Rechtfertigungen und Bagatelldelikte: Ein experimenteller Test.........373 Ben Jann Sozialer Status und Hup-Verhalten. Ein Feldexperiment zum Zu- sammenhang zwischen Status und Aggression im Strassenverkehr.....397 AutorInnen- und HerausgeberInneninformationen...............................411 Kleine Fallzahlen in der empirischen Sozialforschung Christiane Gross und Peter Kriwy Die Einleitung zum vorliegenden Sammelband soll dazu dienen, Antworten auf folgende Fragen zu liefern: Welche Rolle spielen Fallzahlen bei der Teststärken- analyse (Abschnitt 1)? Was sind die Besonderheiten beim Umgang (Datenerhe- bung, -analyse, -interpretation und nicht zu vergessen die Theoriearbeit) mit kleinen Fallzahlen (Abschnitt 2)? Was ist überhaupt „ein Fall“ (Abschnitt 3)? Abschließend gehen wir auf den Aufbau dieses Bandes ein (Abschnitt 4).1 1 Teststärkenanalyse – das Stiefkind der Inferenzstatistik Für die Durchführung qualitativer Studien, die nicht das Ziel generalisierbarer Aussagen anstreben, sind kleine Fallzahlen unproblematisch (viel problemati- scher erscheinen hier große Datenmengen, die mit qualitativen Auswertungsme- thoden nicht mehr handhabbar sind). In der quantitativen Sozialforschung leidet die inferenzstatistische Generalisierbarkeit von Aussagen bei kleinen Fallzahlen unter einer geringen Teststärke (power). Während dem so genannten Fehler erster Art ((cid:2)-Fehler, Irrtumswahrscheinlichkeit) viel Aufmerksamkeit geschenkt wird, steht die Teststärke (1–(cid:3))2 oft auf der Schattenseite statistischer Analyse, wenngleich eine diffuse Ahnung vorherrscht, dass es schwierig ist, mit kleinen Fallzahlen zu signifikanten Ergebnissen zu gelangen. Zur Vergegenwärtigung des Prinzips des Hypothesentests sei Abbildung 1 dienlich. In einem ersten Schritt wird die Unterscheidung getroffen, ob die Nullhypothese wahr oder falsch ist. Die beiden Pfeile gegen den Uhrzeigersinn beschreiben dabei den Fehler erster und zweiter Art bzw. ihre Wahrscheinlichkeit: Wird die Nullhypo- these zu Unrecht verworfen, wird der Fehler erster Art begangen ((cid:2)-Fehler); wird die Nullhypothese fälschlicherweise beibehalten, spricht man vom Fehler zweiter Art ((cid:3)-Fehler). Die Pfeile im Uhrzeigersinn visualisieren Konfidenzniveau und Teststärke: Nimmt man die Nullhypothese an, wenn sie wahr ist, beschreibt dies 1 Unser Dank gilt Monika Jungbauer-Gans, Thomas Hinz und Christian Ganser für wertvolle Hinweise zu einer früheren Version der Einleitung. Zudem möchten wir uns bei Johann Carsten- sen für die Unterstützung beim Layouten des Sammelbandes bedanken. 2 In der mathematischen Statistik wird die Teststärke (Power) teils mit (cid:3) (statt „1–(cid:3)“) notiert (siehe Buchner et al. 1996), was Verwirrung stiften kann. 10 Christiane Gross und Peter Kriwy das so genannten Konfidenz- oder Vertrauensniveau (1–(cid:2)); die Teststärke be- zieht sich auf die Wahrscheinlichkeit, die Nullhypothese richtigerweise abzuleh- nen. Oder etwas laxer formuliert: Die Teststärke beschreibt die Fähigkeit bzw. Wahrscheinlichkeit, einen signifikanten Zusammenhang zu finden unter der Voraussetzung, dass es einen solchen in der Population tatsächlich gibt. Abbildung 1: Fehler erster und zweiter Art Quelle: Araujo und Frøyland (2007: 306) Anmerkung: Pfeile im Uhrzeigersinn: Konfidenzniveau (1–(cid:2)) und Teststärke (1–(cid:3)); Pfeile gegen Uhrzeigersinn: Fehler erster Art ((cid:2)) und Fehler zweiter Art ((cid:3)) (ebd.) Je größer die Fallzahl nun ist, desto genauer ist die Schätzung (bzw. desto kleiner sind die Standardfehler), und folglich, desto größer ist die Teststärke. Um den Standardfehler zu halbieren muss die Fallzahl bekanntlich vervierfacht werden ( n-Gesetz). Zudem muss die Fallzahl umso größer sein, wenn ein hohes Signi- fikanzniveau gewählt wird, also der Fehler 1. Art sehr gering gehalten werden soll. Ein weiterer Faktor, der sich auf die Teststärke auswirkt, ist die Effektgrö- ße. Teststärke, (cid:2)-Fehler, Fallzahl und Effektgröße sind jeweils eine Funktion der restlichen drei Parameter, sodass bei Bekanntheit von drei Parametern der vierte berechnet werden kann (Cohen 1988: 14; Beispiele für Software zur Berechnung der jeweiligen Größen siehe Seo et al. 2006 oder Erdfelder et al. 2004; bzw. in den gängigen Software-Paketen implementiert). Da die entsprechende Formel vom Testverfahren abhängt, wird an dieser Stelle nicht näher auf die einzelnen Zusammenhänge eingegangen. Bei sehr großen Effekten genügt schon eine sehr geringe Fallzahl, um zu signifikanten Zusammenhängen zu gelangen. Das Problem der Nichtthematisierung von Teststärken erscheint dann viru- lent, wenn Ergebnisse von Studien verglichen werden, deren Design von vorn- herein eine sehr unterschiedliche Teststärke hervorbringt. Daher können unter- schiedliche Ergebnisse derart, dass Forscherteam A die Nullhypothese ablehnt, während Forscherteam B die Nullhypothese beibehält, möglicherweise allein auf Kleine Fallzahlen in der empirischen Sozialforschung 11 unterschiedliche Teststärken zurückgeführt werden. Wenn überhaupt methodo- logische Aspekte zur Erklärung angeführt werden, wird in diesen Situationen die Fallzahl verantwortlich gemacht, die zwar der Haupteinflussfaktor auf die Test- stärke ist, dennoch von ihr unterschieden werden sollte. Selbstverständlich kön- nen signifikante, entgegengesetzte Effekte (positiver versus negativer Effekt in zwei Studien) nicht auf unterschiedliche Teststärken zurückgeführt werden. Sedlmeier und Gigerenzer (1989) untersuchen, ob Studien über statistische Teststärke tatsächlich einen Effekt auf die Teststärke zukünftiger Studien haben. Dabei beziehen sie sich auf Arbeiten, die nach der Pionierarbeit von Cohen (1962) zu statistischer Teststärke in dem gleichen Journal publiziert wurden, in dem sowohl Cohens Artikel erschienen ist, als auch Cohen selbst als Gutachter tätig war. Sie finden für das Jahr 1960 einen Median der Teststärken von 0,46, während die Studien des Jahres 1984 lediglich einen Median von 0,37 besitzen. Den Rückgang der Teststärke führen sie auf die Korrektur des (cid:2)-Fehlers zurück. Nur zwei der 64 Studien erwähnen die statistische Power und in keiner der Stu- dien wurde sie berechnet (ebd.). Nichtsignifikanz wurde generell als Bestätigung der Nullhypothese interpretiert, selbst dann, wenn die Power im Median ledig- lich 0,25 betrug.3 Wenn im Vorfeld einer Erhebung auf Basis der gewünschten Teststärke (meist etwa bei 80–90%), dem angesetzten Signifikanzniveau ((cid:2)-Fehler), der Effektgröße in der Population und des verwendeten Datenanalyseverfahrens die benötigte Fallzahl bestimmt werden soll (einführend hierzu Lachin 1981), stößt man möglicherweise auf zwei Probleme: Zum einen ist die Effektgröße in der Population in der Regel nicht bekannt und kann vor Beginn der Datenerhebung möglicherweise nur ungenau geschätzt werden;4 man muss also – im besten Fall – auf Vorwissen zurückgreifen, worauf wir später noch genauer eingehen werden (post-hoc lässt sich die Effektgröße in der Population unkompliziert anhand der Effektgröße im Sample schätzen). Zum anderen gibt es Untersuchungsobjekte deren Fallzahl auf eine natürliche Grenze stößt, beispielsweise die Anzahl der EU-Staaten oder die Anzahl der Bundesländer. Bei manchen inhaltlichen Frage- 3 Sedlmeier und Gigerenzer (1989) geben dennoch zu verstehen, dass die Teststärkenanalyse nur dann Sinn macht, wenn man ein Hypothesentesten in der Tradition von Neyman und Pearson verfolgt, währenddessen der Ansatz von Fisher oder Bayes nicht mit der Logik der Teststärken- analyse vereinbar ist (zu der Kontroverse zwischen Neyman und Pearson versus Fisher siehe et- wa Lenhard 2006). 4 Hierin liegt insofern Manipulationspotenzial, als beispielsweise in klinischen Studien das Ver- werfen der Nullhypothese, je nachdem ob man den positiven Effekt eines Medikaments belegen oder das Vorhandensein von Nebenwirkungen verwerfen möchte, auf jeweils unterschiedliche Forschungsinteressen stößt. Demnach kann je nach vorliegendem Interesse die Effektsgröße ü- ber- oder unterschätzt werden, um eine Fallzahl zu generieren, die die gewünschte Power ge- währleistet.
The list of books you might like
