Table Of Content

Ю.Е. ВОСКОБОЙНИКОВ ПОСТРОЕНИЕ РЕГРЕССИОННЫХ МОДЕЛЕЙ В ПАКЕТЕ MATHCAD НОВОСИБИРСК 2009 3 МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ АРХИТЕКТУРНО-СТРОИТЕЛЬНЫЙ УНИВЕРСИТЕТ (СИБСТРИН) Ю.Е. Воскобойников ПОСТРОЕНИЕ РЕГРЕССИОННЫХ МОДЕЛЕЙ В ПАКЕТЕ MATHCAD Учебное пособие НОВОСИБИРСК 2009 4 УДК 519.2:004.4(075) ББК 22.1 В762 Воскобойников Ю. Е. Построение регрессионных моделей в пакете MathCAD : учеб. по- собие / Ю. Е. Воскобойников ; Новосиб. гос. архитектур.-строит. ун-т. – Новосибирск : НГАСУ (Сибстрин), 2009. – 220 с. ISBN-978-5-7795-0422-5 Учебное пособие содержит основные теоретические положения по сле- дующим разделам регрессионного анализа экспериментальных данных: рег- рессионные модели и регрессионное моделирование, парный и множествен- ный регрессионный анализ. Приводятся необходимые расчетные соотношения. Большое внимание уделяется реализации этих соотношений в математическом пакете MathCAD. Учебное пособие содержит большое количество примеров и копий фрагментов документов MathCAD, которые позволят студентам не только лучше понять и усвоить учебный материал, но и эффективно использо- вать пакет MathCAD при выполнении курсовых работ и дипломной работы. Учебное пособие предназначено для магистрантов и аспирантов специ- альностей 270102 «Промышленное и гражданское строительство», 270104 «Гидротехническое строительство», 270106 «Производство строительных ма- териалов, изделий и конструкций», а также студентов, обучающихся по на- правлению 270100 «Строительство». Печатается по решению издательско-библиотечного совета НГАСУ (Сибстрин) Рецензенты: М.С. Соппа, д-р физ.-мат. наук, профессор, декан ⎯ факультета экономики и менеджмента НГАСУ (Сибстрин); В.И. Хабаров, д-р техн. наук, профессор, декан ⎯ факультета бизнес-информатики, завкафедрой информационных технологий на транспорте СГУПС ISBN-978-5-7795-0422-5 Воскобойников Ю.Е., 2009 Новосибирский государствен- ный архитектурно-строительный университет (Сибстрин), 2009 5 ОГЛАВЛЕНИЕ ВВЕДЕНИЕ...............................................................................8 ТЕМА 1. ВЫБОРОЧНЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ СЛУЧАЙНЫХ ВЕЛИЧИН И ЗАДАЧИ РЕГРЕССИОННОГО АНАЛИЗА ДАННЫХ............................................................10 1.1. Необходимые определения и понятия теории вероятностей...............................................................10 1.2. Выборочные оценки числовых характеристик случайных величин.................................................................23 1.3. Проверка статистических гипотез..................................30 1.4. Аномальные измерения и их исключение из выборочной совокупности................................................34 1.5. Регрессионные модели и задачи регрессионного анализа..........................................39 ТЕМА 2. ПАРНЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ............44 2.1. Постановка задачи парной регрессии............................44 2.2. Выбор вида функции регрессии.....................................48 2.3. Линейная парная регрессия и вычисление ее коэффициентов...................................................................52 2.4. Вычисление коэффициентов уравнения регрессии и их характеристик в пакете MathCAD..............59 2.5. Интервальные оценки функции регрессии и ее параметров.......................................................................62 2.6. Значимость уравнения регрессии и коэффициент детерминации..........................................................................69 2.7. Нелинейная парная регрессия........................................77 2.8. Построение нелинейных парных регрессий в пакете MathCAD..................................................................85 2.9. Точностная интерпретация коэффициентов нелинейной парной регрессии.............................................101 2.10. Робастные методы оценивания и метод наименьших модулей.............................................113 6 ТЕМА 3. МНОЖЕСТВЕННЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ................................................................................121 3.1. Классическая линейная модель множественной регрессии....................................................121 3.2. Оценка коэффициентов линейной модели методом наименьших квадратов.........................................124 3.3. Интервальные оценки для функции регрессии и ее коэффициентов..............................................................137 3.4. Значимость множественной регрессии и ее коэффициентов..............................................................144 3.5. Множественная нелинейная регрессия........................149 3.6. Точностная интерпретация коэффициентов нелинейной множественной регрессии..............................155 3.7. Исследование остатков регрессионной модели..........159 ТЕМА 4. ПРАКТИЧЕСКИЕ АСПЕКТЫ МНОЖЕСТВЕННОГО РЕГРЕССИОННОГО АНАЛИЗА.......174 4.1. Мультиколлинеарность модели множественной регрессии....................................................174 4.2. Отбор объясняющих переменных регрессионной модели..........................................................182 4.3. Неполнота и избыточность уравнения регрессии.......188 4.4. Фиктивные переменные в линейных регрессионных моделях.......................................................194 4.5. Частная корреляция.......................................................199 4.6. Гетероскедастичность модели и метод взвешенных наименьших квадратов.........................................................203 ЗАКЛЮЧЕНИЕ.....................................................................217 БИБЛИОГРАФИЧЕСКИЙ СПИСОК.................................218 ПРИЛОЖЕНИЕ.....................................................................219 7 ВВЕДЕНИЕ Среди методов прикладной математической статистики регрессионный анализ занимает важное положение. Это обу- словлено не только тем, что регрессионный анализ является од- ним из самых распространенных методов обработки результатов наблюдений, но и тем, что он, по существу, является основой целого ряда других разделов математической статистики (пла- нирование эксперимента, дисперсионный анализ, многомерный статистический анализ). Объектом рассмотрения регрессионного анализа является некоторый физический (технический, экономический, социаль- ный) процесс, который характеризуется несколькими перемен- ными. Одна из этих переменных (называемая зависимой) функ- ционально связана с другими (независимыми переменными). Под независимыми переменными понимаются переменные, для которых можно устанавливать желаемые значения, либо те, ко- торые можно наблюдать, но не управлять. В результате измене- ния независимых переменных появляется некоторый эффект, который приводит к изменению зависимой переменной (иногда называемой переменной-откликом). В большинстве случаев функциональная связь между этими переменными является не- известной и необходимо построить некоторую аналитическую зависимость – уравнение регрессии, которая с приемлемой точ- ностью описывала бы взаимосвязь между зависимой и незави- симыми переменными. В данном учебном пособии рассматриваются следующие основные задачи регрессионного анализа экспериментальных данных: • отбор значимых независимых переменных; • выбор вида уравнения регрессии (линейная, полиноми- альная, экспоненциальная и т.д.); • вычисление оценок для неизвестных коэффициентов; • построение доверительных интервалов для неизвестных коэффициентов; 8 • проверка значимости вычисленных оценок и построен- ного уравнения регрессии; • регрессионные модели с фиктивными переменными. В России и за рубежом издано большое количество литера- туры, посвященной регрессионному анализу и обработке экспе- риментальных данных. Основными недостатками этих изданий являются сложность изложения материала и отсутствие алго- ритмической реализации тех или иных расчетных соотношений в среде определенного математического пакета (которые сего- дня широко используются в научно-инженерных расчетах). По- этому автор при написании учебного пособия преследовал сле- дующие цели: • изложить материал в максимально доступной и понят- ной форме (оставляя в стороне сложные доказательства, кото- рые можно найти в приводимом списке литературы); • при изложении материала придерживаться рецептурной формы, т.е. непосредственно для практического применения из- лагаемых методов или алгоритмов; • показать алгоритмическую и численную реализацию ос- новных расчетных соотношений в математическом пакете MathCAD; • проанализировать основные трудности, возникающие при решении задач регрессионного анализа на практике. Изложение материала сопровождается большим числом примеров, а также заданий, решение которых служит закрепле- нию теоретических положений изучаемой дисциплины. Эту же цель преследуют контрольные вопросы и учебные задания, при- водимые в конце каждой темы пособия. Предполагается, что читатель знаком с основами работы в пакете MathCAD. При отсутствии таких знаний можно обра- титься к учебному пособию [6] и изучить требуемые конструк- ции пакета MathCAD. Необходимые сведения по теории веро- ятностей и математической статистике кратко изложены в теме 1 данного пособия, а также в соответствующей учебной литера- туре (например, [1–4]). 9 ТЕМА 1. ВЫБОРОЧНЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ СЛУЧАЙНЫХ ВЕЛИЧИН И ЗАДАЧИ РЕГРЕССИОННОГО АНАЛИЗА ДАННЫХ В этой теме кратко излагаются основные понятия теории вероятностей и математической статистики, необходимые для изложения и понимания материала последующих тем. Вводится понятие регрессионной модели и рассматриваются основные за- дачи регрессионного анализа экспериментальных данных. 1.1. Необходимые определения и понятия теории вероятностей Случайной величиной X называется переменная, которая в результате испытания принимает одно из возможного множест- ва своих значений (какое именно – заранее неизвестно). В дальнейшем случайные величины обозначаются больши- ми буквами, а конкретные значения – маленькими буквами. Для непрерывной случайной величины (с.в.) множество возможных значений бесконечно и несчетно. Законом распределения с.в. называется всякое соотноше- ние, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями. Для непрерывной с.в. в качестве таких соотношений ис- пользуются две характеристики: функция распределения F(x) и плотность распределения p(x). Функцией распределения случайной величины X называет- ся функция F(x), определяющая для каждого значения x вероят- ность того, что случайная величина X примет значение меньше x, т.е. F(x) = P(X < x). (1.1.1) Запись X < x определяет случайное событие, заключающееся в том, что значения случайной величины X меньше заданного зна- чения x. Некоторые свойства F(x): • функция F(x) неотрицательна, и выполняется неравенство 10 0 ≤ F(x) ≤ 1; • вероятность попадания случайной величины X в интервал [x , x ) (значение x включается в интервал) равна приращению 1 2 1 ее функции распределения на этом интервале, т.е. P(x ≤ X < x ) = F(x ) – F(x ). 1 2 2 1 Заметим, что для непрерывной с.в. имеет место P(x ≤ X ≤ x ) = F(x ) – F(x ), (1.1.2) 1 2 2 1 так как вероятность любого отдельно взятого значения с.в. рав- на нулю, т.е. P(X = x )=0и поэтому справедливо (1.1.2). 2 Плотностью распределения (или плотностью вероят- ности) p(x) случайной величины X называется производная ее функции распределения d p(x)= F(x). (1.1.3) dx Некоторые свойства p(x): • плотность распределения – неотрицательная функция, т.е. p(x) ≥ 0; • вероятность попадания с.в. в интервал [a, b] равна ин- тервалу b ∫ P(a≤ X ≤b)= p(x)dx; (1.1.4) a ∞ • ∫ p(x)dx=1, (1.1.5) −∞ это равенство следует из (1.1.4) с заменой a = – ∞ ; b = ∞. Дейст- вительно, событие, что случайная величина X примет значение из интервала (–∞, ∞), является достоверным, и вероятность та- кого события равна 1; • функция распределения может быть определена через плотность распределения по формуле: x F(x)= ∫ p(z)dz. (1.1.6) −∞ 11 Заметим, что соотношения (1.1.3) и (1.1.6) определяют од- нозначное соответствие между F(x) и p(x). Числовые характеристики случайных величин. Функция распределения и плотность распределения случайной величины дают исчерпывающую информацию о с.в., так как позволяют вычислить вероятности любых событий, связанных с этой с.в. Однако такая информация труднообозрима и не всегда удобна для анализа. Поэтому для анализа с.в. используются их числовые харак- теристики – числа, отображающие наиболее существенные черты распределения с.в., и эти числовые характеристики явля- ются неслучайными. Приведем определения часто используе- мых числовых характеристик. Математическое ожидание или среднее значение (обо- значаемое M(X)) случайной величины X определяется формулой ∞ M(X)= ∫ x⋅p(x)dx. (1.1.7) −∞ Некоторые свойства математического ожидания: • M(C) = C, где C – постоянная величина; • M(CX) = C·M(X); • M(X – M(X)) = 0; • M(X ± Y) = M(X) ± M(Y), где X, Y – случайные величины. Дисперсией D(X) (также обозначается σ2 или σ2) случай- X ной величины X называется величина ∞ D(X)= ∫ (x−M(X))2⋅p(x)dx. (1.1.8) −∞ Дисперсия D(X) характеризует отклонение (разброс) случайной величины относительно ее математического ожидания. Некоторые свойства дисперсии: • D(C) = 0, где C – постоянная величина; • D(CX)=C2D(X); 12