Меню

Тест на нормальность Doornik Hansen с использованием R normality test2

Тест на нормальность Doornik & Hansen с использованием R (normality.test2)

Я тестирую нормальность, используя (отрегулированный) тест Doornik-Hansen в R: normwhn.test::normality.test2 . Тест работает нормально, но я хотел бы извлечь определенные элементы из теста, то есть тестовую статистику (Ep) и значение тестовой статистики (Sig.Ep). У меня есть следующая строка кода, определяющая метрику/вектор, а затем проверяем на нормальность:

Может ли кто-нибудь из вас объяснить мне, как я извлекаю определенный элемент? Я попытался использовать скобки, например normality.test2(m_1)[1] но без succes.

Если вы посмотрите на исходный код normwhn.test::normality.test2 (просто оцените его без круглых скобок), вы увидите, что вся информация, которую вы хотите, просто напечатана на экране, а не часть возвращаемого значения. Например, это последние несколько строк:

Таким образом, два лучших варианта:

просто перезапишите функцию, возвращая список всех вещей, которые вы хотите, вместо их печати; или же обернуть вызов normality.test2 в capture.output() , чтобы вернуть все, что было выведено (см этого вопроса для справки).

Вариант 2. может принести меньше усилий, но результаты будут возвращены в виде символьного вектора (один элемент для каждой строки, напечатанной на консоли), и вам придется проанализировать это, чтобы получить то, что вы хотите.

Пример стратегии 2:

Затем вы можете начать синтаксический анализ вывода, например:

(fwiw, если бы я был вами, я бы просто взял код функции и переписал его так, чтобы он возвращал то, что вам нужно. Гораздо проще в долгосрочной перспективе. Возможно, даже подумайте о том, чтобы отправить авторам сообщение и спросить, рассмотрите возможность введения параметра, такого как output_in_return_value .)

Источник

Обнаружение стационарности в данных временных рядов

Дата публикации Jul 21, 2019

Стационарность является важной концепцией в анализе временных рядов. Для краткого (но подробного) введения в тему и причин, которые делают ее важной, взгляните намой предыдущий пост в блоге на эту тему, Не повторяя слишком много, достаточно сказать, что:

  1. Стационарность означает, что статистические свойства временного ряда (или, скорее, процесса, его генерирующего) не изменяются со временем.
  2. Стационарность важна, потому что многие полезные аналитические инструменты и статистические тесты и модели полагаются на нее.

Как таковая, способность определять, является ли временной ряд стационарным, важна. Вместо того, чтобы выбирать между двумя строгими вариантами, это обычно означает возможность с высокой вероятностью установить, что серия генерируется стационарным процессом.

В этом кратком посте я расскажу о нескольких способах сделать это.

Зрительные

Самые основные методы обнаружения стационарности основаны на построении графиков данных или их функций и определении визуально, представляют ли они какое-либо известное свойство стационарных (или нестационарных) данных.

Глядя на данные

Попытка определить, был ли временной ряд сгенерирован стационарным процессом, просто взглянув на его график, является сомнительным предприятием. Тем не менее, есть некоторые основные свойства нестационарных данных, которые мы можем искать. Давайте возьмем в качестве примера следующие хорошие сюжеты из [Hyndman & Athanasopoulos, 2018]:

[Hyndman & Athanasopoulos, 2018] приводят несколько эвристик, используемых для исключения стационарности на приведенных выше графиках, соответствующих основной характеристике стационарных процессов (которые мы обсуждали ранее):

  • Выдающаяся сезонность может наблюдаться в сериях (d), (h) и (i).
  • Заметные тенденции и изменяющиеся уровни можно увидеть в сериях (а), (с), (е), (f) и (i).
  • Ряд (i) показывает возрастающую дисперсию.

Авторы также добавляют, что, хотя сильные циклы в ряду (g) могут показаться нестационарными, синхронизация этих циклов делает их непредсказуемыми (из-за лежащей в основе динамической доминирующей популяции рыси, частично обусловленной доступным кормом). Это оставляет ряды (b) и (g) единственными стационарными рядами.

Если, как и я, вы не нашли хотя бы некоторые из этих наблюдений тривиальными, глядя на рисунок выше, вы не единственный. Действительно, это не очень надежный метод обнаружения стационарности, и он обычно используется для получения первоначального представления о данных, а не для того, чтобы делать определенные утверждения.

Рассматривая графики функции автокорреляции (ACF)

автокорреляцияявляется корреляцией сигнала с задержанной копией — или задержкой — самого себя как функция задержки. При построении значения ACF для увеличения лагов (график называетсякоррелограмма), значения имеют тенденцию быстро уменьшаться до нуля для стационарных временных рядов (см. рисунок 1, справа), тогда как для нестационарных данных ухудшение будет происходить медленнее (см. рисунок 1, слева).

В качестве альтернативы, [Нильсен, 2006] предполагает, что построение коррелограмм на основе как автокорреляций, так и масштабированных автоковариаций и сравнение их обеспечивает лучший способ различения стационарных и нестационарных данных.

Параметрические испытания

Другой, более строгий подход к обнаружению стационарности в данных временных рядов использует статистические тесты, разработанные для обнаруженияконкретные типыстационарности, а именно обусловленные простыми параметрическими моделями порождающего случайного процесса (см. мой предыдущий пост для деталей).

Я представлю здесь самые выдающиеся тесты. Я также назову реализации Python для каждого теста, предполагая, что я их нашел. Для реализации R см.CRAN Task View: анализ временных рядов(такжеВот).

Модульные корневые тесты

Тест Дики-Фуллера
Дики-Фуллераtest был первым статистическим тестом, разработанным для проверки нулевой гипотезы о том, что единичный корень присутствует в авторегрессионной модели заданного временного ряда и что процесс, таким образом, не является стационарным. Оригинальный тест относится к случаю простой модели AR лаг-1 У теста есть три версии, которые отличаются моделью корневого процесса, для которого они тестируют;

  1. Тест для единичного корня: ∆yᵢ = δyᵢ₋₁ + uᵢ
  2. Тест для единичного корня со сносом: ∆yᵢ = a₀ + δyᵢ₋₁ + uᵢ
  3. Тест для единичного корня с дрейфом и детерминированным временным трендом:
    ∆yᵢ = a₀ + a₁ * t + δyᵢ₋₁ + uᵢ
Читайте также:  Этиология патогенез и патологическая анатомия

При выборе используемой версии, которая может существенно повлиять на размер и мощность теста, можно использовать предварительные знания или структурированные стратегии для серии упорядоченных тестов, что позволяет найти наиболее подходящую версию.

Расширения теста были разработаны для размещения более сложных моделей и данных; это включаетДополненный Дики-Фуллер (ADF)(используя AR любого порядкапи поддержку моделирования временных трендов),Тест Филлипса-Перрона (ПП)(добавление устойчивости к неопределенной автокорреляции и гетероскедастичности) иADF-GLS тест(локально изменяющиеся данные для работы с постоянными и линейными тенденциями).

Реализации Python можно найти вstatsmodelsа такжеARCHпакеты.

Тест КПСС
Другим важным тестом на наличие единичного корня являетсяKPSS тест, [Kwiatkowski et al, 1992] В противоположность семейству тестов Дики-Фуллера нулевая гипотеза предполагает стационарность вокруг среднего или линейного тренда, в то время как альтернативой является наличие единичного корня.

Тест основан на линейной регрессии, разбивая ряд на три части:детерминистическийтренд (& beta; t),случайная прогулка(к.т.) и стационарная ошибка (εt), с уравнением регрессии:

и гдеU

(0, σ²) ин.о.р., Таким образом, нулевая гипотезаH₀: σ² = 0в то время как альтернативаHₐ: σ²> 0, Находит ли стационарность в нулевой гипотезе среднее значение или тренд, определяется установкойβ = 0(в таком случаеИкснеподвижен вокруг среднего значения r₀) илиβ ≠ 0соответственно.

Тест KPSS часто используется для дополнения тестов типа Дики-Фуллера. Я буду касаться того, как интерпретировать такие объединенные результаты в следующем посте.

Реализации Python можно найти вstatsmodelsа такжеARCHпакеты.

Тест Зивота и Эндрюса
Вышеупомянутые тесты не допускают возможностиструктурный разрыв- резкое изменение, включающее изменение среднего значения или других параметров процесса. Предполагая время разрыва как экзогенное явление, Перрон показал, что способность отклонять единичный корень уменьшается, когда стационарная альтернатива верна и структурный разрыв игнорируется.

[Zivot and Andrews, 1992] предлагают проверку единичного корня, в которой они предполагают, что точное время точки останова неизвестно. После того, как Перрон охарактеризовал форму структурного разрушения, Зивот и Эндрюс приступили к трем моделям для проверки единичного корня:

  • Модель A: допускает одноразовое изменение уровня серии.
  • Модель B: допускает одноразовое изменение наклона функции тренда.
  • Модель C: объединяет одноразовые изменения уровня и наклона функции тренда серии.

Следовательно, для проверки единичного корня по сравнению с альтернативой одноразового структурного разрыва Zivot и Andrews используют следующие уравнения регрессии, соответствующие вышеуказанным трем моделям: [Waheed et al, 2006]

Реализация Python может быть найдена вARCHпакет иВот,

Полупараметрические единичные корневые тесты

Тест отношения дисперсии
[Breitung, 2002] предложил непараметрический тест на наличие единичного корня на основе статистики коэффициента дисперсии. Нулевая гипотеза — это процесс I (1) (интегрированный первого порядка), в то время как альтернативой является I (0). Я перечисляю этот тест как полупараметрический, потому что он проверяет конкретное, основанное на модели, понятие стационарности.

Непараметрические тесты

Вслед за ограничениями параметрических тестов и признанием, что они охватывают только узкий подкласс возможных случаев, встречающихся в реальных данных, в литературе по анализу временных рядов появился класс непараметрических тестов на стационарность.

Естественно, что эти тесты открывают многообещающий путь для исследования данных временных рядов: вам больше не нужно предполагать, что очень простые параметрические модели применяются к вашим данным, чтобы выяснить, являются ли они стационарными или нет, или рискуют не обнаружить сложную форму феномен, не охваченный этими моделями.

Реальность этого, однако, более сложна; на данный момент не существует каких-либо широко применяемых непараметрических тестов, которые охватывают все реальные сценарии, генерирующие данные временных рядов. Вместо этого эти тесты ограничиваются определенными типами данных или процессов. Кроме того, я не смог найти реализации ни для одного из следующих тестов

Я упомяну здесь несколько, с которыми я столкнулся:

Непараметрический критерий стационарности в марковских процессах с непрерывным временем

[Каная, 2011] предложить этот непараметрический тест стационарности дляодномерныйоднородные по времени марковские процессытолькопостроить статистику теста на основе ядра и провести моделирование по методу Монте-Карло для изучения конечного размера выборки и энергетических свойств теста.

Непараметрический критерий стационарности в функциональных временных рядах

[Delft et al, 2017] предлагают непараметрический тест стационарности, ограниченный функциональными временными рядами — данные, полученные путем разделениянепрерывный(в природе) запись времени в естественные последовательные интервалы, например дни. Обратите внимание, что [Delft and Eichler, 2018] предложили тест на локальную стационарность для функциональных временных рядов (см.мой предыдущий постдля некоторых ссылок на локальную стационарность). Кроме того, [Vogt & Dette, 2015] предлагают непараметрический метод для оценки точки плавного изменения в локально стационарной структуре.

Непараметрический критерий стационарности на основе локального анализа Фурье

[Басу и др., 2009] предложить, какой может быть наиболее применимый непараметрический критерий стационарности, представленный здесь, поскольку он применим к любому случайному процессу с дискретным временем с нулевым средним (и я предполагаю, что здесь любая конечная выборка дискретного процесса, которую вы можете иметь, может быть легко преобразована в ноль означает).

Заключительные слова

Это оно. Я надеюсь, что приведенный выше обзор дал вам некоторое представление о том, как подойти к вопросу обнаружения стационарности в ваших данных. Я также надеюсь, что это раскрыло вам сложности этой задачи; из-за отсутствия реализаций для нескольких непараметрических тестов вы будете вынуждены делать серьезные предположения о ваших данных и интерпретировать полученные результаты с необходимым количеством сомнений.

Читайте также:  Тест люшера количество цветов

Что касается вопроса о том, что делать, если вы обнаружили какой-то тип стационарности в своих данных, я надеюсь затронуть этот вопрос в следующем посте. Как всегда, я хотел бы услышать о вещах, которые я пропустил или ошибался. Ура!

Источник



Тест дурника хансена нулевая гипотеза

Непараметрические методы для A/B тестов. Считаем деньги

Когда мы говорим про метрики для A/B тестирования, то чаще всего приходит на ум измерение средних — конверсия, CTR и тп. Но не стоит забывать, что кроме средних значений, существуют еще и деньги. И когда мы говорим про транзакционный бизнес, то все-таки данная метрика является основной.

У нас есть dataframe со следующими значениями (для двух групп A и B, выборки независимы).

Перед тем, как применять тот или иной статистический метод, нам необходимо дать характеристику нашим данным. Например, чтобы использовать многим знакомый t критерий Стьюдента, данные должны подходить под следующие условия:

  1. Данные должны иметь Нормальное распределение. Методов, которые позволяют провести проверки на нормальность распределений, достаточно много. Один из самых используемых — это критерий Шапиро-Уилка. Наша задача — сравнивать теоретическое нормальное распределение с распределением наших наблюдаемых частот.

2. Дисперсии в наших выборках должны быть гомогенны. Если дисперсии в наших выборках не гомогенны, значит мы пытаемся сравнить то, что сравнивать в принципе нельзя (котов и слонов, например). Для проверки на гомогенность дисперсий можно использовать критерий Бартлета. Нулевая гипотеза при использовании данного критерия предполагает, что выборки взяты из генеральных совокупностей с одинаковой дисперсией. Если наши выборки n1=n2=….ni, можно использовать более простой в вычислениях критерий Кокрена. Оба критерия чувствительны к виду распределения.

Если нарушается одно из условий, параметрические методы мы использовать не можем.

Источник

Нулевая гипотеза в статистике: пример. Проверка нулевой гипотезы

Статистика — сложная наука об измерении и анализе различных данных. Как и во многих других дисциплинах, в этой отрасли существует понятие гипотезы. Так, гипотеза в статистике — это какое-либо положение, которое нужно принять или отвергнуть. Причём в данной отрасли есть несколько видов таких допущений, схожих между собой по определению, но отличающихся на практике. Нулевая гипотеза — сегодняшний предмет изучения.

От общего к частному: гипотезы в статистике

От основного определения предположений отходит ещё одно, не менее важное, — статистическая гипотеза есть изучение генеральной совокупности важных для науки объектов, относительно коих учёными делаются выводы. Ее можно проверить с помощью выборки (части генеральной совокупности). Приведём несколько примеров статистических гипотез:

1. Успеваемость всего класса, возможно, зависит от уровня образования каждого учащегося.

2. Начальный курс математики в равной степени усваивается как детьми, пришедшими в школу в 6 лет, так и детьми, пришедшими в 7.

Простой гипотезой в статистике называют такое предположение, которое однозначно характеризует определённый параметр величины, взятой учёным.

Сложная состоит из нескольких или бесконечного множества простых. Указывается некоторая область или нет точного ответа.

Полезно понимать несколько определений гипотез в статистике, чтобы не путать их на практике.

Концепция нулевой гипотезы

Нулевая гипотеза — это теория о том, что есть некие две совокупности, которые не различаются между собой. Однако на научном уровне нет понятия «не различаются», но есть «их сходство равно нулю». От этого определения и было образовано понятие. В статистике нулевая гипотеза обозначается как Н0. Причём крайним значением невозможного (маловероятного) считается от 0.01 до 0.05 или менее.

Лучше разобрать, что такое нулевая гипотеза, пример из жизни поможет. Педагог в университете предположил, что различный уровень подготовки учащихся двух групп к зачётной работе вызван незначительными параметрами, случайными причинами, не влияющими на общий уровень образования (разница в подготовке двух групп студентов равна нулю).

Однако встречно стоит привести пример альтернативной гипотезы — допущения, опровергающего утверждение нулевой теории (Н1). Например: директор университета предположил, что различный уровень в подготовке к зачётной работе у учащихся двух групп вызван применением педагогами разных методик обучения (разница в подготовке двух групп существенна и на то есть объяснение).

Теперь сразу видна разница между понятиями «нулевая гипотеза» и «альтернативная гипотеза». Примеры иллюстрируют эти понятия.

Проверка нулевой гипотезы

Создать предположение — это ещё полбеды. Настоящей проблемой для новичков считается проверка нулевой гипотезы. Именно тут многих и ожидают трудности.

Используя метод альтернативной гипотезы, утверждающей нечто обратное нулевой теории, можно сравнить оба варианта и выбрать верный. Так действует статистика.

Пусть нулевая гипотеза Н0, а альтернативная Н1, тогда:

Н0: c = c0;
Н1: c ≠ c0.

Здесь c — это некое среднее значение генеральной совокупности, которое предстоит найти, а c0 — данное изначально значение, по отношению к которому проверяется гипотеза. Также есть некоторое число Х — среднее значение выборки, по которому определяется c0.

Итак, проверка заключается в сравнении Х и c0, если Х=c0 ,то принимается нулевая гипотеза. Если же Х≠c0, то по условию верной считается альтернативная.

«Доверительный» способ проверки

Существует наиболее действенный способ, с помощью которого нулевая статистическая гипотеза легко проверяется на практике. Он заключается в построении диапазона значений до 95% точности.

Читайте также:  Гнойный артрит диагностика и лечение

Для начала понадобится знать формулу расчёта доверительного интервала:
X — t*Sx ≤ c ≤ X + t*Sx,

где Х — данное изначально число на основе альтернативной гипотезы;
t — табличные величины (коэффициент Стьюдента);
Sx — стандартная средняя ошибка, которая рассчитывается как Sx = σ/√n, где в числителе стандартное отклонение, а в знаменателе — объём выборки.

Итак, предположим ситуацию. До ремонта конвейер в день выпускал 32.1 кг конечной продукции, а после ремонта, как утверждает предприниматель, коэффициент полезного действия вырос, и конвейер, по недельной проверке, начал выпускать 39.6 кг в среднем.

Нулевая гипотеза будет утверждать, что ремонт никак не повлиял на КПД конвейера. Альтернативная гипотеза скажет, что ремонт коренным образом изменил КПД конвейера, поэтому производительность его повысилась.

По таблице находим n=7, t = 2,447, откуда формула примет следующий вид:

39,6 – 2,447*4,2 ≤ с ≤ 39,6 + 2,447*4,2;

Получается, что значение 32.1 входит в диапазон, а следовательно, значение, предложенное альтернативой — 39.6 — не принимается автоматически. Помните, что сначала проверяется на правильность нулевая гипотеза, а потом — противоположная.

Разновидности отрицания

До этого рассматривался такой вариант построения гипотезы, где Н0 утверждает что-либо, а Н1 это опровергает. Откуда можно было составить подобную систему:

Н0: с = с0;
Н1: с ≠ с0.

Но существует ещё два родственных способа опровержения. К примеру, нулевая гипотеза утверждает, что средняя оценка успеваемости класса больше 4.54, а альтернативная тогда скажет, что средняя успеваемость того же класса менее 4.54. И выглядеть в виде системы это будет так:

Статистическая проверка

Статистическая проверка нулевых гипотез заключается в использовании статистического критерия. Такие критерии подчиняются различным законам распределения.

К примеру, существует F-критерий, который рассчитывается по распределению Фишера. Есть T-критерий, чаще всего используемый на практике, зависящий от распределения Стьюдента. Квадратный критерий согласия Пирсона и т. д.

Область принятия нулевой гипотезы

В алгебре есть понятие «область допустимых значений». Это такой отрезок или точка на оси Х, на котором находится множество значений статистики, при которых нулевая гипотеза верна. Крайние точки отрезка — критические значения. Лучи по правую и левую сторону отрезка — критические области. Если найденное значение входит в них, то нулевая теория опровергается и принимается альтернативная.

Опровержение нулевой гипотезы

Нулевая гипотеза в статистике временами очень изворотливое понятие. Во время проверки её можно допустить ошибки двух типов:

1. Отвержение верной нулевой гипотезы. Обозначим первый тип как а=1.
2. Принятие ложной нулевой гипотезы. Второй тип обозначим как а=2.

Стоит понимать, что это не одинаковые параметры, исходы ошибок могут существенно различаться между собой и иметь разные выборки.

Пример ошибок двух типов

Со сложными понятиями легче разобраться на примере.

Во время производства некоего лекарства от учёных требуется чрезвычайная осторожность, так как превышение дозы одного из компонентов провоцирует высокий уровень токсичности готового препарата, от которого пациенты, принимающие его, могут умереть. Однако на химическом уровне выявить передозировку невозможно.
Из-за этого перед тем как выпустить лекарство в продажу, небольшую его дозу проверяют на крысах или кроликах, вводя им препарат. Если большая часть испытуемых умирает, то лекарство в продажу не допускается, если подопытные живы, то лекарство разрешают продавать в аптеках.

Первый случай: на самом деле лекарство было не токсично, но во время эксперимента была допущена оплошность и препарат классифицировали как токсичный и не допустили в продажу. А=1.

Второй случай: в ходе другого эксперимента при проверке другой партии лекарства решено, что препарат не токсичен, и в продажу его допустили, хотя на самом деле препарат был ядовит. А=2.

Первый вариант повлечёт за собой крупные финансовые затраты поставщика-предпринимателя, так как придётся уничтожить всю партию лекарства и начинать с нуля.

Вторая ситуация спровоцирует смерть пациентов, купивших и употреблявших это лекарство.

Теория вероятности

Не только нулевые, но все гипотезы в статистике и экономике разделяют по уровню значимости.

Уровень значимости — процент появления ошибок первого рода (отклонение верной нулевой гипотезы).

• первый уровень — 5% или 0.05, т. е. вероятность ошибиться 5 к 100 или 1 к 20.
• второй уровень — 1% или 0.01, т. е. вероятность 1 к 100.
• третий уровень — 0.1% или 0.001, вероятность 1 к 1000.

Критерии проверки гипотезы

Если учёным уже был сделан вывод о правильности нулевой гипотезы, то её необходимо подвергнуть проверке. Это необходимо, чтобы исключить ошибку. Существует основной критерий проверки нулевой гипотезы, состоящий из нескольких этапов:

1. Берётся допустимая ошибочная вероятность P=0.05.
2. Подбирается статистика для критерия 1.
3. По известному методу находится область допустимых значений.
4. Теперь вычисляется значение статистики Т.
5. Если Т (статистика) принадлежит области принятия нулевой гипотезы (как в «доверительном» методе), то предположения считаются верными, а значит, и сама нулевая гипотеза остаётся верной.

Именно так действует статистика. Нулевая гипотеза при грамотной проверке будет принята или отвергнута.

Стоит заметить, что для обычных предпринимателей и пользователей первые три этапа бывает очень сложно выполнить безошибочно, поэтому их доверяют профессиональным математикам. Зато 4 и 5 этапы может выполнить любой человек, в достаточной мере знающий статистические методы проверки.

Источник