Table Of Content

Logistic xd歸模生 —— 方法及應用 Logistic Egression ^Models ； MetHocfs and JippRcation 王濟川、郭志剛著國臺北市立 rffi書館藏書 K1 1琴藿龙分館 [: 五南圖書出版G 司印行前言在過去的20年中，由於計算機技術和統計軟體的迅速發展，量化分析已經成為社會科學各個學科領域中廣為應用的技術方法。在社會科學諸如社會學、心理學、人□學、政治學、經濟學以及公共衛生學當中，logistic迴歸模型是對二元因變數(dichotomous dependent variable)(即y = 1或y=0)進行迴歸分析時最為普遍應用的多元量化分析方法。根據Hosmer及其同事的統計(1991 )，在1985〜1989年間，國際知名刊物《美國公共衛生雜誌》上發表的文章中約有20% (579篇文章中的113篇)應用了 logistic迴歸模型。雖然logistic迴歸已經達到3如此流行的程度，但不少使用這一模型的人對於該模型的性質和原理仍無法充分理解，在實際應用中常有困惑的問題，對於模型結果的闡述也不一致。並且|在很多應用該方法的研究中連模型擬合優度(goodness of fit)的評估也被忽略3。比如，在上述所統計的113篇文章中，只有5% (6篇文章)涉及到模型擬合優度的評估①。在現有的統計教科書中，一般都有logistic迴歸模型的內容。然而，在這些教科書中， logistic迴歸往往不是作為中心内容，也缺乏關於這種方法的詳盡討論。有關專著在國外很少，國內尚無。國外的一些專著中對於logistic迴歸模型的實際應用，特別是結合統計軟體執行模型並對模型結果進行解釋方面較為欠缺。本書的主要目的是提供對於logistic 迴歸模型的深入專題介紹，專注於這一方法本身的討論，以及模型結果的詳細闡述。作者儘量以深入淺出的手法，旁徵博引，理論聯繫實際，大量運用例題並結合計算機統計軟體的使用，介紹和討論診模型的原理及運用。讀者在學習本書內容之前應對多元迴歸和統計推斷的基礎知識有所瞭解。本書將採用國際上廣泛使用的統計軟體SAS (Statistics Analysis System)和SPSS (Statistics Package for Social Sciences)來分析書中的例題。本書將提供用這兩種軟體進 ① Hosmer. Taber, and Lemeshow. 1991. 2 □前言行具體例題分析的計算機程序’並對於這兩種軟體的模型估計結果進行詳細的解釋和對比分析。本書中例題的主要資料是由作者模擬設計的’其原始資料可從下列網址下載： http:// www.hep.com.cn;http:"www.wright.edu/~jichuan.wang http: //www.disa.pku.edu.cn / 課程本書共由8章組成。在第1章中，我們將首先討論分析二元因變數時所產生的問題，並討論經典的線性機率模型(linear probability model, LPM)及其侷限性。然後介紹logistic迴歸模型。在第2章中，我們將介紹logistic迴歸模型估計所用的最大概似估計法(maximum likelihood estimation, MLE)、模型估計的假設條件，以及最大概似估計的性質。此外1 還將介紹對分組資料進行logit分析的加權最小平方法(weighted least squares, WLS) ° 第3章介紹logistic迴歸模型的評估，討論各種擬合優度(goodness of fit)，預測準確性(predictive accuracy)和模型卡方統計(model chi-square statistic)。第4章關注於logistic模型迴歸係數意義的闡釋。除了討論發生比率(odds ratio)、預測機率(predicted probability)和互動影響(interactions)外，這一章還要討論使用各種不同編碼時分類自變數迴歸係數的意義和解釋。第5章討論logistic迴歸係數的統計推斷(statistical inference)。第6章的內容涉及模型的選擇，討論建立模型過程中的策略。第7章關於模型的診斷，討論多元共線性(multicollinearity)、有問題的資料架構 (problematic data configuration)、極端值(outliers)、特異影響案例(influential obser vations) 和過離散分佈(overdispersion)等問題，以及這些問題的補救對策。在最後一章中，我們將介紹與logistic迴歸類似的另外一種分析二元因變數的備選模型——probit模型。然後，將logistic迴歸模型擴展到次序logistic迴歸模型(ordered logistic regression model)和多項式 logit 模型(multinomial logit model)，這些模型分別用以解決次序變數和多分類名義變數為因變數的問題。二元因變數與logistic迴歸模型 1 1.1引言/2 1.2 線性機率模型(Linear Probability Model, LPM) / 3 1.3 Logistic 迴歸模型/^ 7 Logistic迴歸模型估計-----------------------------15 2.1 最大概似｛拓十(Maximum Likelihood Estimation, MLE ) / 16 2.2 Logistic迴歸模型估計的假設條件/ 20 2.3 最大概似估計的性質/ 21 2.4模型估計的樣本規模/ 21 2.5 擬合logistic迴歸的示範模型/ 23 2.6 用分組資料作logistic迴歸分析/ 40 Logistic迴歸模型評價---------------------------- 61 3.1 擬合優度(Goodness of fit)/ 68 3.1.1 皮爾遜％2 (Pearson/2) / 68 3.1.2 離差(Deviance) / 73 3.1.3 Hosmer-Lemeshow 擬合優度指標/ 77 3.1.4 訊息測量指標(Information Measures )/80 2 □目錄 3.2 Logistic迴歸模型的預測準確性Z 86 3.2.1 類 7?2指標(Analogous7?2) / 86 3.2.2預測機率與測量值之間的關聯/ 90 3.2.3 分類表(Classification Table) / 96 3.3 模型％2統計(Model Chi-Square Statistic) / 106 4 Logistic迴歸係數解釋------------------------ 109 4.1 發生比和發生比率(Odds and Odds Ratio)/ 111 4.2按發生比率來解釋logistic迴歸係數/ 114 4.2.1連續自變數的發生比率/ 115 4.2.2二元自變數的發生比率/ 119 4.2.3分類自變數的發生比率/ 121 4.3用機率來解釋自變數的作用/ 133 4.4 預測機率/ 135 4.5 標準化係數/ 139 4.6 偏相關(Partial Correlation) / 146 <5 Logistic迴歸係數的統計推斷------------------ 149 5.1 Logistic迴歸係數的顯著性檢驗/ 150 5.1.1 Wald 檢驗/ 151 5.1.2概似比檢驗/ 153 5.1.3檢驗係數子集/ 161 5.2 Logistic迴歸參數的可信區間/ 166 5.2.1 Logistic迴歸係數的可信區間/ 167 目錄03 5.2.2發生比率的可信區間/ 169 5.2.3 事件機率的可信區間/ 173 建立模型----------------------------------------179 6.1 選擇變數/ 180 6.1.1篩選自變數/ 181 6.1.2模型的比較/ 188 6.1.3逐步模型選擇法/ 190 6.1.4排除有意義的變數和包括沒有意義的變數/ 212 6.2 非線性與非加性(Nonlinearity and Nonadditivity ) / 213 6.2.1 非線性/ 214 6.2.2 非加性/ 220 Logistic迴歸診斷-------------------------------- 227 7.1 過離散(Overdispersion) / 228 7.2 空單元(Zero Cell Count) / 232 7.3 完全分離(Complete Separation) 233 7.4 多元共線性(Multicollinearity) 236 7.5 特異值和特殊影響案例(Outliers and Influential Observa tions) / 241 7.5.1殘差影響的測量/ 241 7.5.2檢查特異值和特殊影響案例/ 250 4 □目錄 XT s Logistic迴歸的替代模型及擴展--------------------- 269 8.1 Probit 模型Z 270 8.1.1 Probit模型的對數概似函數/ 270 8.1.2擬合probit示範模型271 8.1.3 Probit 模型的解釋-/276 8.1.4用分組資料建立probit模型/ 280 8.1.5 Logistic迴歸模型與probit模型的比較/ 289 8.2 Logistic迴歸擴展於多分類反應變數/ 291 8.2.1 累積 logistic 迴歸模型(Cumulative Logistic Regression Model) / 292 8.2.2 多項 logit 模型(Multinomial Logit Model) / 307 參考文獻關鍵詞索引 TABLE OF CONTEMTS Dichotomous dependent variable and logistic regression model 1 1.1 Introduction / 2 1.2 Linear probability model (LPM)/ 3 1.3 Logistic regression model / 7 Estimation of logistic regression model-------------------------------15 2.1 Maximum likelihood estimation (MLE)/ 16 2.2 Assumptions of logistic regression model estimation / 20 2.3 Properties of MLE / 21 2.4 Sample size for model estimation / 21 2.5 Examples of logistic regression models / 23 2.6 Logistic analysis with grouped data / 40 Evaluation of logistic regression model------------------------------ 67 3.1 Goodness of fit / 68 3.1.1 Pearson/2/ 68 3.1.2 Deviance / 73 3.1.3 Hosmer-Lemeshow goodness of fit statistic / 77 3.1.4 Information measures / 80 2 □ TABLE Of CONTEMTS 3.2 Predictive accuracy of logistic regression model / 86 3.2.1 Measures of analogous R2/ 86 3.2.2 Association between predicted probability and observed response / 90 3.2.3 Classification table / 96 3.3 Model Chi-square statistic / 106 Interpretation of logistic regression coefficients-------------------109 4.1 Odds and odds ratio /111 4.2 Interpretating logistic regression coefficients in odds ratio / 114 4.2.1 Odds ratio for continuous variable / 115 4.2.2 Odds ratio for indicator variable / 119 4.2.3 Odds ratio for categorical variable X 121 4.3 Interpretating effect on probability / 133 4.4 Predicted probabilities / 135 4.5 Standardized coefficients / 139 4.6 Partial correlation / 146 Statistical inference for logistic regression coefficients---------149 5.1 Significance test of logistic regression coefficients / 150 5.1.1 Wald test / 151 5.1.2 Likelihood ratio test / 153 5.1.3 Testing a subset of coefficients / 161 TABLE OF CONTEMTS □ 3 5.2 Confidence intervals for logistic regression parameter estimate / 166 5.2.1 Confidence intervals for logistic regression coefficient / 167 5.2.2 Confidence intervals for odds ratio / 169 5.2.3 Confidence intervals for predicted probabilities / 173 Model building--------------------------------------------------------------179 6.1 Variable selection / 180 6.1.1 Screening candidates of independent variables / 181 6.1.2 Model comparison / 188 6.1.3 Stepwise computer model selection / 190 6.1.4 Excluding relevant variables and including irrelevant variables / 212 6.2 Nonlinearity and nonadditivity / 213 6.2.1 Nonlinearity / 214 6.2.2 Nonadditivity / 220 Logistic regression model diagnostics------------------------------227 7.1 Overdispersion / 228 7.2 Zero cell count / 232 7.3 Complete separation / 233 7.4 Multicollinearity / 236 7.5 Outliers and influential observations / 241