ebook img

Reasoning Ability: Rule-based test construction of a figural analogy test Barbara Maria Esther ... PDF

211 Pages·2008·1.06 MB·English
by  
Save to my drive
Quick download
Download
Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.

Preview Reasoning Ability: Rule-based test construction of a figural analogy test Barbara Maria Esther ...

Westfälische Wilhelms-Universität Münster Fachgebiet: Psychologie easoning bility R A : ule based test construction of a figural R - analogy test Inaugural-Dissertation zur Erlangung des Doktorgrades der Philosophischen Fakultät der Westfälischen Wilhelms-Universität zu Münster (Westf.) vorgelegt von arbara aria sther eckmann B M E B aus Münster Juli 2008 Tag der mündlichen Prüfung: 26.09.2008 Dekan: Prof. Dr. Bromme Referent: Prof. Dr. Holling Korreferent: PD Dr. Gediga Vorwort Im Rahmen der vorliegenden Arbeit wird das Ziel der regelgeleiteten Test- entwicklung zur Erfassung der fluiden Intelligenz mittels figuralen Analo- gieaufgaben verfolgt. Schlussfolgerndes Denken wurde als Testgegenstand gewählt, da es als zentrale Komponente kognitiver Fähigkeiten und analy- tischer Intelligenz gilt. Der Einfluss der im Test angewandten Regeln und Elemente auf die Aufgabenschwierigkeit wird mittels Linear Logistischer Testmodelle untersucht. TestinstruktionenundBeispielaufgabendesimRahmendieserDissertation entwickelten figuralen Analogietests werden im Anhang aufgeführt. Da dieArbeitinenglischerSprachegeschriebenist,befindetsicheinedeutsche Zusammenfassung am Ende der Arbeit. Mein herzlicher Dank gilt Herrn Prof. Dr. Holling für die Betreuung meinerArbeit,seineUnterstützungundAnregungen. HerrnPDDr. Gediga danke ich für seine Bereitschaft, die Aufgabe des zweiten Gutachters zu übernehmen. Meinen Kollegen des Lehrstuhls gebührt ebenfalls großer Dank für ihre Unterstützung und die beständige und gute Zusammenar- beit. Münster, im Juli 2008 Barbara Beckmann Contents 1 Introduction 1 2 ReasoningAbility: TheoreticalandEmpiricalBackground 7 2.1 Reasoning Ability: Assignment and Definition . . . . . . . . . 7 2.2 Reasoning Ability in Influential Intelligence Models . . . . . . 9 2.3 Information-Processing Theories of Analogy Tasks . . . . . . 16 2.4 EmpiricalFindingsbetweenCognitiveAbilitiesandAcademic Achievement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 2.5 Effects of Training and Instruction on Test Performance . . . . 47 2.5.1 Training Effects . . . . . . . . . . . . . . . . . . . . . . . 47 2.5.2 Effects of Instruction on Test Performance . . . . . . . 51 2.5.3 Concluding Remarks on the Effects of Training and Instruction . . . . . . . . . . . . . . . . . . . . . . . . . . 56 3 AnalysisofCognitiveStructure 58 3.1 Rule-based Test Construction . . . . . . . . . . . . . . . . . . . 59 3.2 Test Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 i Contents 3.2.1 Classical Test Theory and Item Response Theory . . . 62 3.2.2 Probabilistic Test Models . . . . . . . . . . . . . . . . . 64 3.3 Methods of Validating the Cognitive Structure . . . . . . . . . 67 3.3.1 Linear Logistic Test Model . . . . . . . . . . . . . . . . 68 3.3.2 Linear Logistic Test Model with Random Item Effects 71 3.3.3 Optimal Design . . . . . . . . . . . . . . . . . . . . . . . 73 3.4 Empirical Findings on Information Structure and Compo- nents of Item Difficulty . . . . . . . . . . . . . . . . . . . . . . . 74 3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 4 ResearchQuestionsandPretests 83 4.1 Research Questions . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.2 Pretests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.2.1 Pretest 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 4.2.2 Pretest 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 4.2.3 Pretest 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 4.2.4 Summary and Conclusion on Pretests . . . . . . . . . . 104 5 MainExamination 106 5.1 Material . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 5.1.1 Test and Items . . . . . . . . . . . . . . . . . . . . . . . . 107 5.1.2 Distractors . . . . . . . . . . . . . . . . . . . . . . . . . . 109 5.2 Instruction, Procedure, and Measures . . . . . . . . . . . . . . 112 5.3 Sample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 5.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 5.4.1 Item Statistics According to Classical Test Theory . . . 115 ii Contents 5.4.2 Confirmatory Factor Analysis . . . . . . . . . . . . . . 123 5.4.3 Estimating Parameters According to IRT-Models . . . 124 5.4.4 Goodness of Fit . . . . . . . . . . . . . . . . . . . . . . . 132 5.4.5 Item Construction in Focus . . . . . . . . . . . . . . . . 140 5.4.6 Impact of Elements on Item Difficulty . . . . . . . . . . 153 6 SummaryandDiscussion 160 6.1 Future Prospects . . . . . . . . . . . . . . . . . . . . . . . . . . 171 References 173 A TablesandFigures 184 B TestMaterials 188 iii List of Tables 2.1 Analogy Example According to Sternberg (1977a) . . . . . . . 21 4.1 Descriptive Statistics of Pretest 1 . . . . . . . . . . . . . . . . . 94 4.2 Parameter Estimates of Pretest 1 . . . . . . . . . . . . . . . . . 95 4.3 Descriptive Statistics of Pretest 2 . . . . . . . . . . . . . . . . . 97 4.4 Parameter Estimates of Pretest 2 . . . . . . . . . . . . . . . . . 98 4.5 Descriptive Statistics of Pretest 3 . . . . . . . . . . . . . . . . . 102 4.6 Parameter Estimates of Pretest 3 (Subtests 1, 4, 5) . . . . . . . 103 4.7 Parameter Estimates of Pretest 3 (Subtests 2, 3) . . . . . . . . . 103 5.1 Cognitive Operations . . . . . . . . . . . . . . . . . . . . . . . . 108 5.2 Optimal Design Matrix (Subtests 1 & 2) . . . . . . . . . . . . . 110 5.3 Optimal Design Matrix (Subtests 3 & 4) . . . . . . . . . . . . . 111 5.4 T-TestMeansoftheInstructionGroupandtheNon-Instruction Group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 5.5 Descriptive Statistics: Total Sample . . . . . . . . . . . . . . . . 119 5.6 Descriptive Statistics: Instruction Group . . . . . . . . . . . . . 120 iv List of Tables 5.7 Descriptive Statistics: Non-Instruction Group . . . . . . . . . . 121 5.8 Item Parameters 1PL Model (BILOG) . . . . . . . . . . . . . . 129 5.9 Item Parameters 2PL Model (BILOG) . . . . . . . . . . . . . . 130 5.10 Goodness of Fit According to Likelihood and Information- theoretic Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . 133 5.11 Model Test According to Martin-Löf (k = 31, N = 484) . . . . . 135 5.12 Model Test According to Martin-Löf (k = 44, N = 484) . . . . . 136 5.13 Model Test According to Andersen (k = 31, N = 484) . . . . . 138 5.14 Model Test According to Andersen (k = 44, N = 484) . . . . . 139 5.15 LLTM vs. Rasch Parameter: Total Sample (LPCM-Win) . . . . 142 5.16 LLTM: Basic Parameter Estimates, Total Sample (LPCM-Win) 143 5.17 LLTM:BasicParameterEstimates,InstructionGroup(LPCM- Win) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 5.18 LLTM vs. Rasch Parameter: Instruction Group (LPCM-Win) . 145 5.19 LLTM: Basic Parameter Estimates, Non-Instruction Group (LPCM-Win) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 5.20 LLTM vs. Rasch Parameter: Non-Instruction Group (LPCM- Win) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 5.21 Comparison of Parameter Estimates: Instruction Group vs. Non-Instruction Group . . . . . . . . . . . . . . . . . . . . . . . 148 5.22 LLTMwithRandomItemEffects: BasicParameterEstimates, Total Sample (SAS) . . . . . . . . . . . . . . . . . . . . . . . . . 150 5.23 LLTM: Total Sample (SAS) . . . . . . . . . . . . . . . . . . . . . 151 5.24 LLTM with Random Item Effects for Rasch Conform Items (k = 32, N = 484) (SAS) . . . . . . . . . . . . . . . . . . . . . . . 152 v List of Tables 5.25 LLTM with Random Item Effects: Parsimonious Model for Rasch Conform Items (k = 32, N = 484) (SAS) . . . . . . . . . 153 5.26 LLTM: Combination of Letters and Digits (LPCM-Win) . . . . 154 5.27 LLTM: Orientation of A-Elements (LPCM-Win) . . . . . . . . 155 5.28 LLTM: C-Elements (LPCM-Win) . . . . . . . . . . . . . . . . . 157 5.29 LLTM: Elements A & C (LPCM-Win) . . . . . . . . . . . . . . . 157 5.30 LLTM: Elements and Transformations (LPCM-Win) . . . . . . 159 A.1 LLTM with Random Item Effects: Instruction Group (SAS) . . 185 A.2 LLTM: Instruction Group (SAS) . . . . . . . . . . . . . . . . . . 185 A.3 LLTM with Random Item Effects: Non-Instruction Group (SAS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 A.4 LLTM: Non-Instruction Group (SAS) . . . . . . . . . . . . . . . 186 vi

Description:
A.1 Item Characteristic Curves of the Figural Analogy Test Items 187 vii . three kinds of reasoning: deductive, inductive, and quantitative (induc- tive and . stitutes a central factor in numerous cognitive tasks and learning aptitude.
See more

The list of books you might like

Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.