Меню

Парная линейная регрессия Задачи регрессионного анализа

Парная линейная регрессия. Задачи регрессионного анализа

Будут и задачи для самостоятельного решения, к которым можно посмотреть ответы.

Понятие линейной регрессии. Парная линейная регрессия

Линейная регрессия — выраженная в виде прямой зависимость среднего значения какой-либо величины от некоторой другой величины. В отличие от функциональной зависимости y = f(x) , когда каждому значению независимой переменной x соответствует одно определённое значение величины y, при линейной регрессии одному и тому же значению x могут соответствовать в зависимости от случая различные значения величины y.

Если в результате наблюдения установлено, что при каждом определённом значении x существует сколько-то (n) значений переменной y, то зависимость средних арифметических значений y от x и является регрессией в статистическом понимании.

Если установленная зависимость может быть записана в виде уравнения прямой

то эта регрессионная зависимость называется линейной регрессией.

О парной линейной регрессии говорят, когда установлена зависимость между двумя переменными величинами (x и y). Парная линейная регрессия называется также однофакторной линейной регрессией, так как один фактор (независимая переменная x) влияет на результирующую переменную (зависимую переменную y).

В уроке о корреляционной зависимости были разобраны примеры того, как цена на квартиры зависит от общей площади квартиры и от площади кухни (две различные независимые переменные) и о том, что результаты наблюдений расположены в некотором приближении к прямой, хотя и не на самой прямой. Если точки корреляционной диаграммы соединить ломанной линией, то будет получена линия эмпирической регрессии. А если эта линия будет выровнена в прямую, то полученная прямая будет прямой теоретической регрессии. На рисунке ниже она красного цвета (для увеличения рисунка щёлкнуть по нему левой кнопкой мыши).

диаграмма с проведённой прямой теоретической линейной регрессии

По этой прямой теоретической регрессии может быть сделан прогноз или восстановление неизвестных значений зависимой переменной по заданным значениям независимой переменной.

В случае парной линейной регрессии для данных генеральной совокупности связь между независимой переменной (факториальным признаком) X и зависимой переменной (результативным признаком) Y описывает модель

— свободный член прямой парной линейной регрессии,

— коэффициент направления прямой парной линейной регрессии,

N — число элементов генеральной совокупности.

Уравнение парной линейной регрессии для генеральной совокупности можно построить, если доступны данные обо всех элементах генеральной совокупности. На практике данные всей генеральной совокупности недоступны, но доступны данные об элементах некоторой выборки.

Поэтому параметры генеральной совокупности оценивают при помощи соответствующих параметров соответствующей выборки: свободный член прямой парной линейной регрессии генеральной совокупности заменяют на свободный член прямой парной линейной регрессии выборки , а коэффициент направления прямой парной линейной регрессии генеральной совокупности — на коэффициент направления прямой парной линейной регрессии выборки .

В результате получаем уравнение парной линейной регрессии выборки

— оценка полученной с помощью модели линейной регрессии зависимой переменной Y,

n — размер выборки.

Чтобы уравнение парной линейной регрессии было более похоже на привычное уравнение прямой, его часто также записывают в виде

Уравнение парной линейной регрессии и метод наименьших квадратов

Определение коэффициентов уравнения парной линейной регрессии

Если заранее известно, что зависимость между факториальным признаком x и результативным признаком y должна быть линейной, выражающейся в виде уравнения типа , задача сводится к нахождению по некоторой группе точек наилучшей прямой, называемой прямой парной линейной регрессии. Следует найти такие значения коэффициентов a и b , чтобы сумма квадратов отклонений была наименьшей:

Если через и обозначить средние значения признаков X и Y,то полученная с помощью метода наименьших квадратов функция регрессии удовлетворяет следующим условиям:

  • прямая парной линейной регрессии проходит через точку ;
  • среднее значение отклонений равна нулю: ;
  • значения и не связаны: .

Условие метода наименьших квадратов выполняется, если значения коэффициентов равны:

Пример 1. Найти уравнение парной линейной регрессии зависимости между валовым внутренним продуктом (ВВП) и частным потреблением на основе данных примера урока о корреляционной зависимости (эта ссылка, которая откроется в новом окне, потребуется и при разборе следующих примеров).

Решение. Используем рассчитанные в решении названного выше примера суммы:

Используя эти суммы, вычислим коэффициенты:

Таким образом получили уравнение прямой парной линейной регрессии:

Составить уравнение парной линейной регрессии самостоятельно, а затем посмотреть решение

Пример 2. Найти уравнение парной линейной регрессии для выборки из 6 наблюдений, если уже вычислены следующие промежуточные результаты:

Анализ качества модели линейной регрессии

Метод наименьших квадратов имеет по меньшей мере один существенный недостаток: с его помощью можно найти уравнение линейной регрессии и в тех случаях, когда данные наблюдений значительно рассеяны вокруг прямой регрессии, то есть находятся на значительном расстоянии от этой прямой. В таких случаях за точность прогноза значений зависимой переменной ручаться нельзя. Существуют показатели, которые позволяют оценить качество уравнения линейной регрессии прежде чем использовать модели линейной регрессии для практических целей. Разберём важнейшие из этих показателей.

Коэффициент детерминации

Коэффициент детерминации принимает значения от 0 до 1 и в случае качественной модели линейной регрессии стремится к единице. Коэффициент детерминации показывает, какую часть общего рассеяния зависимой переменной объясняет независимая переменная:

— сумма квадратов отклонений, объясняемых моделью линейной регрессии, которая характеризует рассеяние точек прямой регрессии относительно арифметического среднего,

— общая сумма квадратов отклонений, которая характеризует рассеяние зависимой переменной Y относительно арифметического среднего,

— сумма квадратов отклонений ошибки (не объясняемых моделью линейной регрессии), которая характеризует рассеяние зависимой переменной Y относительно прямой регресии.

Читайте также:  Тесты для аттестации Нормативно правовой блок тест на тему

Пример 3. Даны сумма квадратов отклонений, объясняемых моделью линейной регрессии (3500), общая сумма квадратов отклонений (5000) и сумма квадратов отклонений ошибки (1500). Найти коэффициент детерминации двумя способами.

F-статистика (статистика Фишера) для проверки качества модели линейной регрессии

Минимальное возможное значение F-статистики — 0. Чем выше значение статистики Фишера, тем качественнее модель линейной регрессии. Этот показатель представляет собой отношение объясненной суммы квадратов (в расчете на одну независимую переменную) к остаточной сумме квадратов (в расчете на одну степень свободы):

где m — число объясняющих переменных.

Сумма квадратов остатков

Сумма квадратов остатков (RSS) измеряет необъясненную часть дисперсии зависимой переменной:

остатки — разности между реальными значениями зависимой переменной и значениями, оценёнными уравнением линейной регрессии.

В случае качественной модели линейной регрессии сумма квадратов остатков стремится к нулю.

Стандартная ошибка регрессии

Стандартная ошибка регрессии (SEE) измеряет величину квадрата ошибки, приходящейся на одну степень свободы модели:

Чем меньше значение SEE, тем качественнее модель.

Пример 4. Рассчитать коэффициент детерминации для данных из примера 1.

Решение. На основании данных таблицы (она была приведена в примере урока о корреляционной зависимости) получаем, что SST = 63 770,593 , SSE = 10 459,587 , SSR = 53 311,007 .

Можем убедиться, что выполняется закономерность SSR = SSTSSE :

Получаем коэффициент детерминации:

Таким образом, 83,6% изменений частного потребления можно объяснить моделью линейной регресии.

Интерпретация коэффициентов уравнения парной линейной регрессии и прогноз значений зависимой переменной

Итак, уравнение парной линейной регрессии:

В этом уравнении a — свободный член, b — коэффициент при независимой переменной.

Интерпретация свободного члена: a показывает, на сколько единиц график регрессии смещён вверх при x=0, то есть значение переменной y при нулевом значении переменной x.

Интерпретация коэффициента при независимой переменной: b показывает, на сколько единиц изменится значение зависимой переменной y при изменении x на одну единицу.

Пример 5. Зависимость частного потребления граждан от ВВП (истолкуем это просто: от дохода) описывается уравнением парной линейной регрессии . Сделать прогноз потребления при доходе в 20 000 у.е. Выяснить, на сколько увеливается потребление при увеличении дохода на 5000 у.е. Меняется ли потребление, если доход не меняется?

Решение. Подставляем в уравнение парной линейной регрессии x i = 20000 и получаем прогноз потребления при доходе в 20 000 у.е. y i = 17036,4662 .

Подставляем в уравнение парной линейной регрессии x i = 5000 и получаем прогноз увеличения потребления при увеличении дохода на 5000 у.е. y i = 4161,9662 .

Если доход не меняется, то x i = 0 и получаем, что потребление уменьшается на 129,5338 у.е.

Задачи регрессионного анализа

Регрессионный анализ — раздел математической статистики, объединяющий практические методы исследования регрессионной зависимости между величинами по статистическим данным.

Наиболее частые задачи регрессионного анализа:

  • установление факта наличия или отсутствия статистических зависимостей между переменными величинами;
  • выявление причинных связей между переменными величинами;
  • прогноз или восстановление неизвестных значений зависимых переменных по заданным значениям независимых переменных.

Также делаются проверки статистических гипотез о регрессии. Кроме того, при изучении связи между двумя величинами по результатам наблюдений в соответствии с теорией регрессии предполагается, что зависимая переменная имеет некоторое распределение вероятностей при фиксированном значении независимой переменной.

В исследованиях поведения человека, чтобы они претендовали на объективность, важно не только установить зависимость между факторами, но и получить все необходимые статистические показатели для результата проверки соответствующей гипотезы.

Проверка гипотезы о равенстве нулю коэффициента направления прямой парной линейной регрессии

Одна из важнейших гипотез в регрессионном анализе — гипотеза о том, что коэффициент направления прямой регрессии генеральной совокупности равен нулю.

Если это предположение верно, то изменения независимой переменной X не влияют на изменения зависимой переменной Y: переменные X и Y не коррелированы, то есть линейной зависимости Y от X нет.

рассматривают во взаимосвязи с альтернативной гипотезой

Статистика коэффициента направления

соответствует распределению Стьюдента с числом степеней свободы v = n — 2 ,

где — стандартная погрешность коэффициента направления прямой линейной регресии b 1 .

Доверительный интервал коэффициента направления прямой линейной регрессии:

Критическая область, в которой с вероятностью P = 1 — α отвергают нулевую гипотезу и принимают альтернативную гипотезу:

Пример 6. На основе данных из предыдущих примеров (о ВВП и частном потреблении) определить доверительный интервал коэффициента направления прямой линейной регресии 95% и проверить гипотезу о равенстве нулю коэффициента направления прямой парной линейной регрессии.

Можем рассчитать, что , а стандартная погрешность регрессии .

Таким образом, стандартная погрешность коэффициента направления прямой линейной регресии b 1 :

Так как и (находим по таблице в приложениях к учебникам по статистике), то доверительный интервал 95% коэффициента направления прямой парной линейной регрессии:

Так как гипотетическое значение коэффициента — нуль — не принадлежит доверительному интервалу, с вероятностью 95% можем отвергнуть основную гипотезу и принять альтернативную гипотезу, то есть считать, что зависимая переменная Y линейно зависит от независимой переменной X.

Источник

Тест по эконометрике с ответами бесплатно

1)Под эконометрикой в широком смысле слова понимается:

а)совокупность теоретических результатов

б)совокупность различного рода экономических исследований, проводимых с использованием математических методов

в)самостоятельна я научная дисциплина

г)применение статистических методов

а)приближенное описание объекта моделирования, выраженное с помощью математической символики

б)модель, содержащая элементы случайности

в)вероятностно-с татистическая модель

г)описание экономического объекта

3)Экономико-мате матическая модель-это:

а)модель, описывающая механизм функционирования экономики

б)математическое описание экономического объекта или процесса с целью их исследования и управления ими

Читайте также:  Тест на тему Русско турецкие войны при Екатерине 2

г)модель реального явления

4)Вероятностная модель- это:

в)математическая модель реального явления, содержащего элементы случайности

г)вероятностно-с татистическая модель

5)Какие переменные существуют в эконометрике:

б)предопределенн ые, эндогенные

в)экзогенные, эндогенные, предопределенные

6)Основные типы эконометрических моделей:

а)модели тренда, модель сезонности

б) модель временных рядов, регрессионные модели, система одновременных уровней

в)регрессионная, модель тренда и сезонности

г) модель сезонности, регрессионная

7)Этапы построения эконометрической модели:

а)постановочный, априорный, параметризация

б)постановочный, информационный, априорный

в)постановочный, априорный, параметризация, информационный, идентификация модели, верификация модели

г) параметризация, информационный, идентификация модели

8)Какие три типа данных существуют в эконометрике:

а)пространственн о временные, регрессионные, временные

б)пространственные , временные, пространственно- временные

в) экзогенные, эндогенные, предопределенные

9)Простая (парная) регрессия-это

а)зависимость среднего значения какой-либо величины

б) модель вида Yx = a + bx

в)модель, где среднее значение зависимой переменной У рассматривается как функция одной независимой Х

г) модель, где среднее значение зависимой переменной У рассматривается как функция нескольких независимых переменных

а) модель, где среднее значение зависимой переменной У рассматривается как функция нескольких независимых переменных Х1, Х2, Х3

б) зависимость среднего значения какой-либо величины

в) модель, где среднее значение зависимой переменной У рассматривается как функция одной независимой Х

г)модель вида Y = a + bx

11)Способы оценивания параметров линейной регрессии:

а)мат. ожидание, дисперсия

б)дисперсия, среднеквадратичн ое отклонение

в)мат. ожидание, дисперсия, несмещенная выборочная дисперсия, среднеквадратичн ое отклонение, ковариация

г) выборочная дисперсия, среднеквадратичн ое отклонение, ковариация

12) Под эконометрикой в узком смысле слова понимается:

а)совокупность различного рода экономических исследований

б)самостоятельна я научная дисциплина

в)совокупность теоретических результатов

г)применение статистических методов в экономических исследованиях

13)Название «эконометрика» было введено в 1926 таким ученым как:

14)Экзогенные переменные- это

а)внешние переменные, которые задаются из вне моделей, являются автономными и управляемыми

в)формируются в результате функционирования соц. экономической системы

15)Эндогенные переменные- это:

а) лаговые переменные

б) внешние переменные

г)внутренние переменные, которые формируются в результате функционирования соц. экономической системы

16)предопределен ные переменные- это:

б) автономные переменные

в) которые задаются из вне моделей

г)лаговые эндогенные переменные

17)Как выражается модель сезонности:

18)Как выражается модель тренда:

19) Как выражается модель тренда и сезонности:

а)периодическая (сезонная) компонента

21)Априорный этап построения эконометрической модели –это:

а)определение конечных целей моделирования

в)предмодельный анализ экономической сущности изучаемого явления,формиров ание и формализация априорной информации

г)сбор необходимой статистической информации

22)Информационны й этап построения эконометрической модели –это:

а) само моделирование

б)сопоставление реальных и модельных данных

в)сбор необходимой статистической информации, т.е. регистрация значений участвующих моделей факторов и показателей

г)статистический анализ модели

23)Верификация модели –это:

а) статистический анализ модели

б) определение конечных целей моделирования

в) сбор необходимой статистической информации

г) сопоставление реальных и модельных данных, проверка адекватности модели

а) статистический анализ модели, и в первую очередь статистическое оценивание независимых параметров модели

б) сбор необходимой статистической информации, т.е. регистрация значений участвующих моделей факторов и показателей

в) определение конечных целей моделирования

г) сопоставление реальных и модельных данных, проверка адекватности модели

25)Постановочный этап построения эконометрической модели –это:

а) сбор необходимой статистической информации, т.е. регистрация значений участвующих моделей факторов и показателей

б)определение конечных целей моделирования, набора участвующих в модели факторов и показателей, их роли

в) статистический анализ модели

г) сопоставление реальных и модельных данных

Источник



Тестовые задания. Парная регрессия и корреляция (стр. 1 )

Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 5 6 7 8 9 10 11 12

Парная регрессия и корреляция

1. Наиболее наглядным видом выбора уравнения парной регрессии является:

в) экспериментальный (табличный).

2. Рассчитывать параметры парной линейной регрессии можно, если у нас есть:

а) не менее 5 наблюдений;

б) не менее 7 наблюдений;

в) не менее 10 наблюдений.

3. Суть метода наименьших квадратов состоит в:

а) минимизации суммы остаточных величин;

б) минимизации дисперсии результативного признака;

в) минимизации суммы квадратов остаточных величин.

4. Коэффициент линейного парного уравнения регрессии:

а) показывает среднее изменение результата с изменением фактора на одну единицу;

б) оценивает статистическую значимость уравнения регрессии;

в) показывает, на сколько процентов изменится в среднем результат, если фактор изменится на 1%.

5. На основании наблюдений за 50 семьями построено уравнение регрессии , где – потребление, – доход. Соответствуют ли знаки и значения коэффициентов регрессии теоретическим представлениям?

в) ничего определенного сказать нельзя.

6. Суть коэффициента детерминации состоит в следующем:

а) оценивает качество модели из относительных отклонений по каждому наблюдению;

б) характеризует долю дисперсии результативного признака , объясняемую регрессией, в общей дисперсии результативного признака;

в) характеризует долю дисперсии , вызванную влиянием не учтенных в модели факторов.

7. Качество модели из относительных отклонений по каждому наблюдению оценивает:

а) коэффициент детерминации ;

б) -критерий Фишера;

в) средняя ошибка аппроксимации .

8. Значимость уравнения регрессии в целом оценивает:

а) -критерий Фишера;

б) -критерий Стьюдента;

в) коэффициент детерминации .

9. Классический метод к оцениванию параметров регрессии основан на:

а) методе наименьших квадратов:

б) методе максимального правдоподобия:

в) шаговом регрессионном анализе.

10. Остаточная сумма квадратов равна нулю:

а) когда правильно подобрана регрессионная модель;

б) когда между признаками существует точная функциональная связь;

11. Объясненная (факторная) сумма квадратов отклонений в линейной парной модели имеет число степеней свободы, равное:

Читайте также:  Зачем вам липовая справка о тесте на COVID 19 Чем грозит туристу загрузка на госуслугах поддельного документа

а) ;

б) ;

в) .

12. Остаточная сумма квадратов отклонений в линейной парной модели имеет число степеней свободы, равное:

а) ;

б) ;

в) .

13. Общая сумма квадратов отклонений в линейной парной модели имеет число степеней свободы, равное:

а) ;

б) ;

в) .

14. Для оценки значимости коэффициентов регрессии рассчитывают:

а) -критерий Фишера;

б) -критерий Стьюдента;

в) коэффициент детерминации .

15. Какое уравнение регрессии нельзя свести к линейному виду:

а) ;

б) :

в) .

16. Какое из уравнений является степенным:

а) ;

б) :

в) .

17. Параметр в степенной модели является:

а) коэффициентом детерминации;

б) коэффициентом эластичности;

в) коэффициентом корреляции.

18. Коэффициент корреляции может принимать значения:

19. Для функции средний коэффициент эластичности имеет вид:

а) ;

б) ;

в) .

20. Какое из следующих уравнений нелинейно по оцениваемым параметрам:

а) ;

б) ;

в) .

Множественная регрессия и корреляция

1. Добавление в уравнение множественной регрессии новой объясняющей переменной:

а) уменьшает значение коэффициента детерминации;

б) увеличивает значение коэффициента детерминации;

в) не оказывает никакого влияние на коэффициент детерминации.

2. Скорректированный коэффициент детерминации:

а) меньше обычного коэффициента детерминации;

б) больше обычного коэффициента детерминации;

в) меньше или равен обычному коэффициенту детерминации;

3. С увеличением числа объясняющих переменных скорректированный коэффициент детерминации:

в) не изменяется.

4. Число степеней свободы для остаточной суммы квадратов в линейной модели множественной регрессии равно:

а) ;

б) ;

в) .

5. Число степеней свободы для общей суммы квадратов в линейной модели множественной регрессии равно:

а) ;

б) ;

в) .

6. Число степеней свободы для факторной суммы квадратов в линейной модели множественной регрессии равно:

а) ;

б) ;

в) .

7. Множественный коэффициент корреляции . Определите, какой процент дисперсии зависимой переменной объясняется влиянием факторов и :

8. Для построения модели линейной множественной регрессии вида необходимое количество наблюдений должно быть не менее:

9. Стандартизованные коэффициенты регрессии :

а) позволяют ранжировать факторы по силе их влияния на результат;

б) оценивают статистическую значимость факторов;

в) являются коэффициентами эластичности.

10. Частные коэффициенты корреляции:

а) характеризуют тесноту связи рассматриваемого набора факторов с исследуемым признаком;

б) содержат поправку на число степеней свободы и не допускают преувеличения тесноты связи;

в) характеризуют тесноту связи между результатом и соответствующим фактором при элиминировании других факторов, включенных в уравнение регрессии.

11. Частный -критерий:

Источник

5 видов регрессии и их свойства

Линейная и логистическая регрессии обычно являются первыми видами регрессии, которые изучают в таких областях, как машинное обучение и наука о данных. Оба метода считаются эффективными, так как их легко понять и использовать. Однако, такая простота также имеет несколько недостатков, и во многих случаях лучше выбирать другую регрессионную модель. Существует множество видов регрессии, каждый из которых имеет свои достоинства и недостатки.

Мы познакомимся с 7 наиболее распространенными алгоритмами регрессии и опишем их свойства. Также мы узнаем, в каких ситуация и с какими видами данных лучше использовать тот или иной алгоритм. В конце мы расскажем о некоторых инструментах для построения регрессии и поможем лучше разобраться в регрессионных моделях в целом!

Линейная регрессия

Регрессия — это метод, используемый для моделирования и анализа отношений между переменными, а также для того, чтобы увидеть, как эти переменные вместе влияют на получение определенного результата. Линейная регрессия относится к такому виду регрессионной модели, который состоит из взаимосвязанных переменных. Начнем с простого. Парная (простая) линейная регрессия — это модель, позволяющая моделировать взаимосвязь между значениями одной входной независимой и одной выходной зависимой переменными с помощью линейной модели, например, прямой.

Более распространенной моделью является множественная линейная регрессия, которая предполагает установление линейной зависимости между множеством входных независимых и одной выходной зависимой переменных. Такая модель остается линейной по той причине, что выход является линейной комбинацией входных переменных. Мы можем построить модель множественной линейной регрессии следующим образом:

Y = a_1*X_1 + a_2*X_2 + a_3*X_3 ……. a_n*X_n + b

Где a_n — это коэффициенты, X_n — переменные и b — смещение . Как видим, данная функция не содержит нелинейных коэффициентов и, таким образом, подходит только для моделирования линейных сепарабельных данных. Все очень просто: мы взвешиваем значение каждой переменной X_n с помощью весового коэффициента a_n. Данные весовые коэффициенты a_n, а также смещение b вычисляются с применением стохастического градиентного спуска. Посмотрите на график ниже в качестве иллюстрации!

Несколько важных пунктов о линейной регрессии:

  • Она легко моделируется и является особенно полезной при создании не очень сложной зависимости, а также при небольшом количестве данных.
  • Обозначения интуитивно-понятны.
  • Чувствительна к выбросам.

Полиномиальная регрессия

Для создания такой модели, которая подойдет для нелинейно разделяемых данных, можно использовать полиномиальную регрессию. В данном методе проводится кривая линия, зависимая от точек плоскости. В полиномиальной регрессии степень некоторых независимых переменных превышает 1. Например, получится что-то подобное:

Y = a_1*X_1 + (a_2)²*X_2 + (a_3)⁴*X_3 ……. a_n*X_n + b

У некоторых переменных есть степень, у других — нет. Также можно выбрать определенную степень для каждой переменной, но для этого необходимы определенные знания о том, как входные данные связаны с выходными. Сравните линейную и полиномиальную регрессии ниже.

Источник