Статистика - сложная наука об измерении и анализе различных данных. Как и во многих других дисциплинах, в этой отрасли существует понятие гипотезы. Так, гипотеза в статистике - это какое-либо положение, которое нужно принять или отвергнуть. Причём в данной отрасли есть несколько видов таких допущений, схожих между собой по определению, но отличающихся на практике. Нулевая гипотеза - сегодняшний предмет изучения.
От общего к частному: гипотезы в статистике
От основного определения предположений отходит ещё одно, не менее важное, - статистическая гипотеза есть изучение генеральной совокупности важных для науки объектов, относительно коих учёными делаются выводы. Ее можно проверить с помощью выборки (части генеральной совокупности). Приведём несколько примеров статистических гипотез:
1. Успеваемость всего класса, возможно, зависит от уровня образования каждого учащегося.
2. Начальный курс математики в равной степени усваивается как детьми, пришедшими в школу в 6 лет, так и детьми, пришедшими в 7.
Простой гипотезой в статистике называют такое предположение, которое однозначно характеризует определённый параметр величины, взятой учёным.
Сложная состоит из нескольких или бесконечного множества простых. Указывается некоторая область или нет точного ответа.
Полезно понимать несколько определений гипотез в статистике, чтобы не путать их на практике.
Концепция нулевой гипотезы
Нулевая гипотеза - это теория о том, что есть некие две совокупности, которые не различаются между собой. Однако на научном уровне нет понятия «не различаются», но есть «их сходство равно нулю». От этого определения и было образовано понятие. В статистике нулевая гипотеза обозначается как Н0. Причём крайним значением невозможного (маловероятного) считается от 0.01 до 0.05 или менее.
Лучше разобрать, что такое нулевая гипотеза, пример из жизни поможет. Педагог в университете предположил, что различный уровень подготовки учащихся двух групп к зачётной работе вызван незначительными параметрами, случайными причинами, не влияющими на общий уровень образования (разница в подготовке двух групп студентов равна нулю).
Однако встречно стоит привести пример альтернативной гипотезы - допущения, опровергающего утверждение нулевой теории (Н1). Например: директор университета предположил, что различный уровень в подготовке к зачётной работе у учащихся двух групп вызван применением педагогами разных методик обучения (разница в подготовке двух групп существенна и на то есть объяснение).
Теперь сразу видна разница между понятиями «нулевая гипотеза» и «альтернативная гипотеза». Примеры иллюстрируют эти понятия.
Проверка нулевой гипотезы
Создать предположение - это ещё полбеды. Настоящей проблемой для новичков считается проверка нулевой гипотезы. Именно тут многих и ожидают трудности.
Используя метод альтернативной гипотезы, утверждающей нечто обратное нулевой теории, можно сравнить оба варианта и выбрать верный. Так действует статистика.
Пусть нулевая гипотеза Н0, а альтернативная Н1, тогда:
Н0: c = c0;
Н1: c ≠ c0.
Здесь c - это некое среднее значение генеральной совокупности, которое предстоит найти, а c0 - данное изначально значение, по отношению к которому проверяется гипотеза. Также есть некоторое число Х - среднее значение выборки, по которому определяется c0.
Итак, проверка заключается в сравнении Х и c0, если Х=c0 ,то принимается нулевая гипотеза. Если же Х≠c0, то по условию верной считается альтернативная.
«Доверительный» способ проверки
Существует наиболее действенный способ, с помощью которого нулевая статистическая гипотеза легко проверяется на практике. Он заключается в построении диапазона значений до 95% точности.
Для начала понадобится знать формулу расчёта доверительного интервала:
X - t*Sx ≤ c ≤ X + t*Sx,
где Х - данное изначально число на основе альтернативной гипотезы;
t - табличные величины (коэффициент Стьюдента);
Sx - стандартная средняя ошибка, которая рассчитывается как Sx = σ/√n, где в числителе стандартное отклонение, а в знаменателе - объём выборки.
Итак, предположим ситуацию. До ремонта конвейер в день выпускал 32.1 кг конечной продукции, а после ремонта, как утверждает предприниматель, коэффициент полезного действия вырос, и конвейер, по недельной проверке, начал выпускать 39.6 кг в среднем.
Нулевая гипотеза будет утверждать, что ремонт никак не повлиял на КПД конвейера. Альтернативная гипотеза скажет, что ремонт коренным образом изменил КПД конвейера, поэтому производительность его повысилась.
По таблице находим n=7, t = 2,447, откуда формула примет следующий вид:
39,6 – 2,447*4,2 ≤ с ≤ 39,6 + 2,447*4,2;
29,3 ≤ с ≤ 49,9.
Получается, что значение 32.1 входит в диапазон, а следовательно, значение, предложенное альтернативой - 39.6 - не принимается автоматически. Помните, что сначала проверяется на правильность нулевая гипотеза, а потом - противоположная.
Разновидности отрицания
До этого рассматривался такой вариант построения гипотезы, где Н0 утверждает что-либо, а Н1 это опровергает. Откуда можно было составить подобную систему:
Н0: с = с0;
Н1: с ≠ с0.
Но существует ещё два родственных способа опровержения. К примеру, нулевая гипотеза утверждает, что средняя оценка успеваемости класса больше 4.54, а альтернативная тогда скажет, что средняя успеваемость того же класса менее 4.54. И выглядеть в виде системы это будет так:
Н0: с ⩾ 4.54;
Н1: с < 4.54.
Обратите внимание, что нулевая гипотеза утверждает, что значение больше или равно, а статистическая - что строго меньше. Строгость знака неравенства имеет большое значение!
Статистическая проверка
Статистическая проверка нулевых гипотез заключается в использовании статистического критерия. Такие критерии подчиняются различным законам распределения.
К примеру, существует F-критерий, который рассчитывается по распределению Фишера. Есть T-критерий, чаще всего используемый на практике, зависящий от распределения Стьюдента. Квадратный критерий согласия Пирсона и т. д.
Область принятия нулевой гипотезы
В алгебре есть понятие "область допустимых значений". Это такой отрезок или точка на оси Х, на котором находится множество значений статистики, при которых нулевая гипотеза верна. Крайние точки отрезка - критические значения. Лучи по правую и левую сторону отрезка - критические области. Если найденное значение входит в них, то нулевая теория опровергается и принимается альтернативная.
Опровержение нулевой гипотезы
Нулевая гипотеза в статистике временами очень изворотливое понятие. Во время проверки её можно допустить ошибки двух типов:
1. Отвержение верной нулевой гипотезы. Обозначим первый тип как а=1.
2. Принятие ложной нулевой гипотезы. Второй тип обозначим как а=2.
Стоит понимать, что это не одинаковые параметры, исходы ошибок могут существенно различаться между собой и иметь разные выборки.
Пример ошибок двух типов
Со сложными понятиями легче разобраться на примере.
Во время производства некоего лекарства от учёных требуется чрезвычайная осторожность, так как превышение дозы одного из компонентов провоцирует высокий уровень токсичности готового препарата, от которого пациенты, принимающие его, могут умереть. Однако на химическом уровне выявить передозировку невозможно.
Из-за этого перед тем как выпустить лекарство в продажу, небольшую его дозу проверяют на крысах или кроликах, вводя им препарат. Если большая часть испытуемых умирает, то лекарство в продажу не допускается, если подопытные живы, то лекарство разрешают продавать в аптеках.
Первый случай: на самом деле лекарство было не токсично, но во время эксперимента была допущена оплошность и препарат классифицировали как токсичный и не допустили в продажу. А=1.
Второй случай: в ходе другого эксперимента при проверке другой партии лекарства решено, что препарат не токсичен, и в продажу его допустили, хотя на самом деле препарат был ядовит. А=2.
Первый вариант повлечёт за собой крупные финансовые затраты поставщика-предпринимателя, так как придётся уничтожить всю партию лекарства и начинать с нуля.
Вторая ситуация спровоцирует смерть пациентов, купивших и употреблявших это лекарство.
Теория вероятности
Не только нулевые, но все гипотезы в статистике и экономике разделяют по уровню значимости.
Уровень значимости - процент появления ошибок первого рода (отклонение верной нулевой гипотезы).
Первый уровень - 5% или 0.05, т. е. вероятность ошибиться 5 к 100 или 1 к 20.
второй уровень - 1% или 0.01, т. е. вероятность 1 к 100.
третий уровень - 0.1% или 0.001, вероятность 1 к 1000.
Критерии проверки гипотезы
Если учёным уже был сделан вывод о правильности нулевой гипотезы, то её необходимо подвергнуть проверке. Это необходимо, чтобы исключить ошибку. Существует основной критерий проверки нулевой гипотезы, состоящий из нескольких этапов:
1. Берётся допустимая ошибочная вероятность P=0.05.
2. Подбирается статистика для критерия 1.
3. По известному методу находится область допустимых значений.
4. Теперь вычисляется значение статистики Т.
5. Если Т (статистика) принадлежит области принятия нулевой гипотезы (как в «доверительном» методе), то предположения считаются верными, а значит, и сама нулевая гипотеза остаётся верной.
Именно так действует статистика. Нулевая гипотеза при грамотной проверке будет принята или отвергнута.
Стоит заметить, что для обычных предпринимателей и пользователей первые три этапа бывает очень сложно выполнить безошибочно, поэтому их доверяют профессиональным математикам. Зато 4 и 5 этапы может выполнить любой человек, в достаточной мере знающий статистические методы проверки.
В результате изучения данной главы студент должен:
знать
- что такое статистическая гипотеза;
- соотношение теоретических, экспериментальных и статистических гипотез;
- различия между нулевой и альтернативной гипотезами;
- логику оценки, принятия и отвержения статистических гипотез;
- понятия ошибки первого и второго рода, статистической значимости (надежности);
- различия между параметрической и непараметрической статистикой, возможности и ограничения этих двух видов статистических критериев;
уметь
- проверять простейшие гипотезы о среднем с помощью t -теста Стьюдента для парных (связных) и непарных (независимых) выборок;
- оценивать две выборки на однородность с помощью t -теста Стьюдента и F -теста Фишера;
- строить доверительные интервалы для оцениваемых параметров;
владеть
- методическим аппаратом и базовыми навыками выдвижения и проверки статистических гипотез;
- навыками оценки статистических гипотез и построения доверительных интервалов.
Общая стратегия
Вы уже знаете, что в статистическом анализе принято различать понятия "параметр" и "статистика". Эти различия подробно обсуждались в гл. 1; в табл. 2.1 резюмируется состоявшееся обсуждение.
Вспомним, что всякое распределение может быть охарактеризовано теми или иными теоретическими параметрами. Математическое ожидание, дисперсия, асимметрия, эксцесс представляют собой примеры таких параметров распределения случайной величины в генеральной совокупности. Все они, отметим еще раз этот важный факт, представляют собой теоретические величины, которые почти никогда не бывают известны на практике. В практической деятельности исследователя их можно лишь оценить с той или иной степенью точности путем вычисления различных статистических величин, которые не всегда оказываются равными теоретическим величинам параметров, а также и друг другу, в чем мы уже убедились в параграфе 1.4, рассматривая практические примеры оценки различных параметров распределения такого свойства личности, как феминность – маскулинность.
Таблица 2.1
Соотношение параметров и статистики
И это неудивительно: ведь статистика отражает поведение случайных величин лишь в сформированной экспериментатором выборке, а не в самой генеральной совокупности. Поэтому у экспериментатора может возникнуть вопрос, каким образом вычисленные статистики соотносятся с теоретическими параметрами распределения. Иными словами, экспериментатор может заинтересоваться тем, действительно ли имеющиеся у него в распоряжении выборочные данные извлечены из генеральной совокупности, характеризующейся предполагаемыми в теории параметрами распределения. Чтобы ответить на этот вопрос, экспериментатор выдвигает и проверяет статистические гипотезы.
Статистическими гипотезами называют предположения о возможных значениях параметров распределения случайной величины в генеральной совокупности. Проверка и анализ статистических гипотез осуществляются в результате сбора и построения статистики. Инструментом в такой работе выступают статистические тесты, или критерии, каждый из которых представляет собой некоторый набор стандартизированных правил. На основе этих правил принимается решение об истинности или ложности статистической гипотезы.
Рассмотрим еще раз пример с подбрасыванием монеты. Можно предполагать, что вероятность выпадения "орла" при бросании нормальной, нефальшивой и неповрежденной, монеты равна 50%. Это значит, что математическое ожидание такого события при 100-кратном бросании монеты окажется равным 50. Проверка этой гипотезы будет состоять в том, чтобы провести подобного рода испытание, оценить в результате этого интересующий нас параметр путем вычисления соответствующей статистики и с помощью этой статистики проверить достоверность выдвинутой гипотезы. Например, проведя 100 испытаний монеты, мы можем убедиться в том, что каждая сторона действительно выпала по 50 раз. Однако вероятно, что результат такого испытания все же будет несколько отличаться от теоретически предполагаемого. Иными словами, даже если "орел" выпадет немного меньше или немного больше 50 раз, мы вряд ли будем иметь основания полагать, что монета фальшивая. Подозрительной будет ситуация, когда такое отклонение от теоретически предполагаемых величин достигнет бо́льших значений, например, когда "орел" при 100 испытаниях монеты не выпадет ни разу. Такой расклад, по-видимому, представляется маловероятным при условии, что с монетой все в порядке.
Итак, ясно, что если в ходе 100-кратного бросания монеты "орел" выпал ровно 50 раз, с монетой все в порядке. Если "орел" не выпал ни разу, есть основания предполагать, что с монетой что-то не то. Но где та грань, которая отделяет положительные и отрицательные выводы? Этот вопрос имеет отношение к выбираемому критерию принятия решения. Именно такими критериями и выступают разработанные в математической статистике для проверки статистических гипотез статистические тесты, которые поэтому часто называют статистическими критериями.
Таким образом, проверка статистических гипотез осуществляется в результате оценки вероятности случайного события, в качестве которого рассматривается величина статистики. Если эта вероятность оказывается очень незначительной при условии истинности выдвинутой гипотезы, проверяемая статистическая гипотеза отвергается, в противном случае гипотеза принимается.
Трудность этой процедуры, однако, может состоять в том, что мы можем заранее не знать конкретного значения параметра распределения анализируемой случайной величины. Например, в случае с монетой можно предположить, что монета фальшивая, и, следовательно, вероятность выпадения "орла" в той или иной степени отличается от 50%-ного. В этом случае, проведя серию испытаний, мы не сможем оценить степень отличия полученной статистики, характеризующей величину математического ожидания анализируемого события, от действительного его значения. И тогда проверка статистической гипотезы может показаться невозможной. Выход из этой ситуации может, однако, состоять в том, чтобы оценить вероятность гипотезы, противоположной выдвинутой. Иными словами, в данном случае можно, например, выдвинуть гипотезу о равенстве теоретической вероятности 50%. Если эта гипотеза оказывается неверной, принимается альтернативная гипотеза.
Действительно, при проверке статистических гипотез исследователь всегда имеет дело не с одной, а с двумя гипотезами, которые обозначаются как Н 0 и Н 1. Одна из этих гипотез называется нулевой, другая – альтернативной, т.е. опровергающей нулевую.
Нулевая гипотеза Н 0 всегда конкретна. Она всегда утверждает какое-то конкретное значение параметра распределения. Например, гипотеза, касающаяся математического ожидания, может формулироваться следующим образом: μ = А, где А – некоторое конкретное значение μ, а гипотеза, касающаяся равенства двух величии дисперсии, – σ1 = σ2.
Альтернативная гипотеза Н 1 формулируется всегда менее конкретно, например: μ > А ; * σ2 и т.п. Но, как правило, оказывается так, что экспериментатора интересует не конкретная нулевая гипотеза Н 0, а как раз менее конкретная альтернативная гипотеза Н 1, так как именно она в большей степени соответствует проверяемой им в эксперименте научной гипотезе.
Проводя эмпирическую оценку теоретического параметра, экспериментатор определяет статистическую значимость полученного результата, принимая за основу предположение об истинности Н 0. Статистическая значимость представляет собой вероятность того, что в бесконечном числе экспериментов, полностью воспроизводящих условия проведенного эксперимента, мы получим то же или еще большее значение построенной статистики. Если вероятность получить такое и еще большее значение статистики в бесконечном числе экспериментов с теми же условиями при том, что нулевая гипотеза истинна, оказывается небольшой, экспериментатор отказывается от нулевой гипотезы в пользу альтернативной.
Наглядно описанная логика представлена на рис. 2.1. Как очевидно, здесь выдвигаются две альтернативных гипотезы. Одна из них конкретная и предполагает равенство математического ожидания нулю. Эта гипотеза обозначена как Н 0. Соответствующая ей кривая описывает распределение случайной величины Ζ, предсказываемое этой гипотезой. Вторая гипотеза, обозначенная как Н 1, менее конкретная. Она лишь утверждает, что величина математического ожидания должна превышать нулевое значение. В принципе существует бесконечное множество кривых, описывающих распределения, соответствующие этой гипотезе. Приведенная кривая представляет собой одну из возможных. Величина Ζ эксп характеризует значение статистики, оценивающей теоретический параметр μ в эксперименте. Это то, что экспериментатор имеет в своем распоряжении, то, что ему удалось получить, проведя сбор эмпирических данных. Например, это может быть величина среднего арифметического по выборке. Тогда проверка выдвинутых статистических гипотез должна состоять в том, чтобы попытаться оценить, насколько вероятно в другом таком же эксперименте получить ту же величину Zэксп или даже еще бо́льшую при условии истинности нулевой гипотезы. Очевидно, что эта вероятность равна площади под кривой распределения, предполагаемой этой гипотезой. Эта площадь слева ограничена вычисленной статистикой, справа – не ограничена. Такая площадь, как мы помним (см. параграф 1.2), называется квантилем распределения. Она может быть определена следующим образом:
Рис. 2.1.
Необходимая для принятия или отвержения гипотезы величина квантиля р в этом уравнении представляет собой так называемый уровень значимости вычисленной статистики Zэксп. Чем больше эта величина, тем с большей вероятностью полученные в эксперименте данные описываются распределением f Ho(Z ), т.е. распределением, предсказанным гипотезой Н 0. Напротив, чем меньше значение р, тем меньше вероятность того, что эмпирические данные действительно соответствуют распределению f H0(Z), и тем больше вероятность того, что они описываются распределением, предполагающим более высокое значение μ. Таким образом, оценивая значение р, можно принять решение в пользу одной из двух выдвинутых гипотез.
Гипотеза Н 0 может быть принята, если величина квантиля, определяющего статистическую значимость эмпирического значения X, оказывается достаточно большой. Альтернативная гипотеза Н 1, принимается, если величина квантиля, который задает статистическую значимость полученного в эксперименте результата, оказывается пренебрежительно малой. Проблема, однако, состоит в том, какую величину квантиля, задающего статистическую значимость, считать достаточно большой, какую – пренебрежительно малой. Чтобы решить эту проблему, рассмотрим подробнее, какие возможности имеются у экспериментатора, оценивающего статистические гипотезы (табл. 2.2).
Понятно, что выдвинутые статистические гипотезы могут быть либо верными, либо неверными. Поскольку гипотезы Н 0 и Н 1 являются альтернативными, т.е. они исключают друг друга, имеют место лишь два гипотетических случая, характеризующих истинность или ложность рассматриваемых гипотез: либо Н 0 окажется верной, а Н 1 соответственно неверной, либо наоборот. Поскольку экспериментатор, оценивающий гипотезы, никогда не знает, какая из гипотез верна, сто решение принять или отвергнут гипотезу Н 0 никак не связано с ее истинностью или ложностью – ведь именно их он и пытается установить. Таким образом, в ходе проверки статистических гипотез возможно четыре исхода, благоприятными из которых для экспериментатора могут считаться лишь два, независимо от того, какую из гипотез на самом деле хочет доказать исследователь.
Таблица 2.2
Матрица исходов в оценке статистических гипотез
Если гипотеза Н 0 верна и она принимается в результате статистического анализа, экспериментатор не совершает ошибки. И это благоприятный исход для исследователя, даже если он хотел бы принять альтернативную гипотезу. Также экспериментатор нс совершает ошибки, когда он отвергает гипотезу Н 0, которая на самом деле является неверной. Однако может случиться так, что нулевая гипотеза в действительности верна, а экспериментатор ее все же отвергает. В этом случае он совершает ошибку, которую принято называть ошибкой первого рода или α(альфа )-ошибкой. Ошибкой второго рода, или β(бета )-ошибкой, называется исход, при котором экспериментатор принимает нулевую гипотезу, которая на самом деле оказывается неверной.
Ясно, что чем больше вероятность, определяющая статистическую значимость полученного в эксперименте результата, при которой экспериментатор готов отказаться от нулевой гипотезы в пользу альтернативной, тем больше вероятность ошибки первого рода и меньше вероятность ошибки второго рода (рис. 2.2). Напротив, уменьшая значение вероятности, при которой экспериментатор отказывается от нулевой гипотезы, он тем самым рискует с большей вероятностью совершить ошибку второго рода, но тем самым в большей степени ограждает себя от ошибки первого рода. Таким образом, вопрос о том, при каком уровне значимости гипотеза Н 0 может быть отвергнута или принята, связан на самом деле с тем, какая из двух возможных ошибок менее важна для экспериментатора. Применяя более консервативную стратегию проверки статистической гипотезы, экспериментатор пренебрегает опасностью ошибки второго рода. Применяя более радикальный вариант действия, экспериментатор как бы забывает об ошибке первого рода.
Рис. 2.2.
Если принятие статистической гипотезы подразумевает какие-либо важные социальные последствия, можно применить более консервативную стратегию ее оценки. Если серьезные последствия могут наступить вследствие неприятия статистической гипотезы, можно действовать менее консервативно.
Например, пусть рассматривается вопрос об определении умственной отсталости конкретного ребенка. В ходе психологического обследования установлено, что его коэффициент интеллекта ниже среднего значения для данной популяции испытуемых. Таким образом, возникло предположении о недостаточном интеллектуальном развитии этого ребенка и необходимости в связи с этим направления его в специальный интернат для умственно отсталых. Для проверки этой гипотезы были сформулированы две альтернативные статистические гипотезы, одна из которых предполагает, что полученные при обследовании данные характеризуют обычное популяционное распределение с математическим ожиданием, равным границе, определяющей умственную отсталость, скажем, 75 баллам (гипотеза Н 0), а вторая предполагает более низкое значение математического ожидания, т.е. математическое ожидание меньше заданной границы (гипотеза Н 1). Далее предположим, что в ходе оценки статистической значимости эмпирического показателя интеллектуального развития ребенка выяснилось, что вероятность получить при другом случайном испытании тот же результат или даже еще более низкий составляет не более одного шанса из 20. Возникает вопрос: можно ли на основании данного результата судить о недостаточной эмпирической обоснованности нулевой гипотезы и, следовательно, отказаться от нее в пользу альтернативной гипотезы Н 1? Ясно, что ответ на этот вопрос в значительной степени будет зависеть от того, какого рода ошибочные действия можно считать более приемлемыми. Если мы убеждены в том, что пребывание нормального ребенка хоть и с низкими умственными способностями в интернате для умственно отсталых лучше, чем обучение умственно отсталого в нормальной школе, мы можем принять одно решение, касающееся установления границ уровня значимости, если мы считаем по-другому, необходимо принять другое решение.
К счастью, исследователь, как правило, избавлен от необходимости разрешать проблему такого рода. Дело в том, что статистически невозможно обосновать оптимальный уровень значимости, который можно бы было принять в качестве эталонного при выборе статистических гипотез. Вместе с тем существуют некоторые квазистатистические соглашения, принимаемые по умолчанию (табл. 2.3). Эмпирический результат считается статистически значимым для отказа от нулевой гипотезы, если вероятность получить такой же или больший (меньший) результат при другом случайном испытании составляет менее одного шанса из 20, т.е. тогда, когда значение р оказывается меньше 0,05. Если значение р оказывается меньше 0,01, то полученный результат считается высокозначимым для отказа от нулевой гипотезы. В случае, когда значение р превышает 0,10, считается, что в эксперименте не установлены статистически значимые отличия от теоретического параметра, предполагаемого нулевой гипотезой. Если полученное значение р оказывается между величиной 0,10 и 0,05, результат считается неопределенным. Говорят, что он находится на границе уровней значимости. По-другому такой результат называют маргиналъно значимым.
Таблица 2.3
Стандартные величины квантилей, определяющее принятие статистического решения
Описанная стратегия проверки и принятия гипотез является универсальной и наиболее распространенной. Более консервативная стратегия может состоять в том, чтобы в качестве надежного и высоконадежного уровней принять значения вероятностей соответственно 0,01 и 0,001, а для ненадежного уровня значение вероятности установить в 0,05 (О. Ю. Ермолаев, ). Тогда маргинально значимым результатом окажется тот, который находится в диапазоне от 0,01 до 0,05. Однако такая стратегия в психологических исследованиях применяется все же редко.
В любом случае необходимо иметь в виду, что результаты анализа статистических гипотез не могут считаться достаточными для оценки экспериментальных гипотез, если они берутся сами но себе, вне связи со всей экспериментальной ситуацией.
Статистические гипотезы нельзя путать с экспериментальными и теоретическими гипотезами. Теоретические гипотезы отражают характер связей и закономерностей исследуемых явлений. Экспериментальные гипотезы выдвигаются на основе изучения таких теоретических знаний в данной области и конкретизируют таким образом сами теоретические гипотезы. Так же как и статистические гипотезы, они предполагают одновременную формулировку конкурирующих гипотез как отрицания существования предполагаемой каузальной зависимости. Благодаря этому факту исследуемая эмпирическая закономерность может допускать разные причинные интерпретации, называемые конкурирующими гипотезами.
В отличие от экспериментальных, статистические гипотезы являются лишь инструментом оценки собранных в ходе эксперимента данных и не предполагают изначально какой-либо эмпирической закономерности. Результат их проверки носит лишь статистический характер и поэтому не предполагает автоматического принятия или отвержения как экспериментальных, так и тем более теоретических гипотез.
На основе собранных в статистических исследованиях данных после их обработки делаются выводы об изучаемых явлениях. Эти выводы делаются путём выдвижения и проверки статистических гипотез.
Статистической гипотезой называется любое утверждение о виде или свойствах распределения наблюдаемых в эксперименте случайных величин. Статистические гипотезы проверяются статистическими методами.
Проверяемая гипотеза называется основной (нулевой) и обозначается Н 0 . Кроме нулевой выдвигается ещё и альтернативная (конкурирующая) гипотеза Н 1 ,отрицающая основную. Таким образом, в результате проверки будет принята одна и только одна из гипотез, а вторая будет отвергнута.
Типы ошибок
. Выдвинутая гипотеза проверяется на основании исследования выборки, полученной из генеральной совокупности. Из-за случайности выборки в результате проверки не всегда делается правильный вывод. При этом могут возникать следующие ситуации:
1. Основная гипотеза верна и она принимается.
2. Основная гипотеза верна, но она отвергается.
3. Основная гипотеза не верна и она отвергается.
4. Основная гипотеза не верна, но она принимается.
Во случае 2 говорят об ошибке первого рода
, в последнем случае речь идёт об ошибке второго рода
.
Таким образом, по одним выборкам принимается правильное решение, а по другим – неправильное. Решение принимается по значению некоторой функции выборки, называемой статистической характеристикой
, статистическим критерием
или просто статистикой
. Множество значений этой статистики можно разделить на два непересекающихся подмножества:
- Н 0 принимается (не отклоняется), называется областью принятия гипотезы (допустимой областью) ;
- подмножество значений статистики, при которых гипотеза Н 0 отвергается (отклоняется) и принимается гипотеза Н 1 ,называется критической областью.
Выводы:
- Критерием называется случайная величина K , которая позволяет принять или отклонить нулевую гипотезу H0 .
- При проверке гипотез можно допустить ошибки 2 родов.
Ошибка первого рода состоит в том, что будет отклонена гипотеза H 0, если она верна ("пропуск цели"). Вероятность совершить ошибку первого рода обозначается α и называется уровнем значимости . Наиболее часто на практике принимают, что α = 0,05 или α = 0,01.
Ошибка второго рода заключается в том, что гипотеза H0 принимается, если она неверна ("ложное срабатывание"). Вероятность ошибки этого рода обозначается β.
Классификация гипотез
Основная гипотеза Н 0 о значении неизвестного параметра q распределения обычно выглядит так:Н 0: q = q 0 .
Конкурирующая гипотеза Н 1 может при этом иметь следующий вид:
Н 1: q < q 0 , Н 1: q > q 0 или Н 1: q ≠ q 0 .
Соответственно получается левосторонняя, правосторонняя или двусторонняя критические области. Граничные точки критических областей (критические точки ) определяют по таблицам распределения соответствующей статистики.
При проверке гипотезы разумно уменьшить вероятность принятия неправильных решений. Допустимая вероятность ошибки первого рода
обозначается обычно a
и называется уровнем значимости
. Его значение, как правило, мало (0,1, 0,05, 0,01, 0,001
…). Но уменьшение вероятности ошибки первого рода приводит к увеличению вероятности ошибки второго рода (b
), т.е. стремление принимать только верные гипотезы вызывает возрастание числа отброшенных правильных гипотез. Поэтому выбор уровня значимости определяется важностью поставленной проблемы и тяжестью последствий неверно принятого решения.
Проверка статистической гипотезы состоит из следующих этапов
:
1) определение гипотез Н
0 и Н
1 ;
2) выбор статистики и задание уровня значимости;
3) определение критических точек К кр
и критической области;
4) вычисление по выборке значения статистики К экс
;
5) сравнение значения статистики с критической областью (К кр
и К экс
);
6) принятие решения: если значение статистики не входит в критическую область, то принимается гипотеза Н
0 и отвергается гипотеза H
1 , а если входит в критическую область, то отвергается гипотеза Н
0 и принимается гипотеза Н
1 . При этом, результаты проверки статистической гипотезы нужно интерпретировать так: если приняли гипотезу Н
1 ,
то можно считать её доказанной, а если принялигипотезу Н
0 ,
то признали, что она не противоречит результатам наблюдений.Однако этим свойством наряду с Н
0 могут обладать и другие гипотезы.
Классификация проверок гипотез
Рассмотрим далее несколько различных статистических гипотез и механизмов их проверки.I) Гипотеза о генеральном среднем значении нормального распределения при не известной дисперсии . Предполагаем, что генеральная совокупность имеет нормальное распределение, её среднее и дисперсия неизвестны, но есть основания полагать, что генеральное среднее равно a . При уровне значимости α нужно проверить гипотезу Н 0: x =a. В качестве альтернативной можно использовать одну из трёх рассмотренных выше гипотез. В данном случае статистикой служит случайная величина , имеющая распределение Стьюдента с n – 1 степенями свободы. Определяется соответствующее экспериментальное (наблюдаемое) значение t экс t кр Н 1: x >a оно находится по уровню значимости α и числу степеней свободы n – 1. Если t экс < t кр Н 1: x ≠a критическое значение находится по уровню значимости α / 2 и том же числе степеней свободы. Нулевая гипотеза принимается, если | t экс |
,
имеющую нормальное распределение, причём M (Z ) = 0, D (Z ) = 1. Определяется соответствующее экспериментальное значение z экс . Из таблицы функции Лапласа находится критическое значение z кр . При альтернативной гипотезе Н 1: x >y оно находится из условия F (z кр ) = 0,5 – a . Если z экс < z кр , то нулевая гипотеза принимается, в противоположном случае – отвергается. При альтернативной гипотезе Н 1: x ≠y критическое значение находится из условия F (z кр ) = 0,5×(1 – a ). Нулевая гипотеза принимается, если |z экс | < z кр .
III) Гипотеза о равенстве двух средних значений нормально распределённых генеральных совокупностей, дисперсии которых неизвестны и одинаковы (малые независимые выборки)
. При уровне значимости α нужно проверить основную гипотезу Н
0: x
=y
. В качестве статистики используем случайную величину
,
имеющую распределение Стьюдента с (n х
+ n у
– 2) степенями свободы. Определяется соответствующее экспериментальное значение t экс
. Из таблицы критических точек распределения Стьюдента находится критическое значение t кр
. Всё решается аналогично гипотезе (I).
IV) Гипотеза о равенстве двух дисперсий нормально распределённых генеральных совокупностей . В данном случае при уровне значимостиa нужно проверить гипотезу Н 0: D (Х ) = D (Y ). Статистикой служит случайная величина , имеющая распределение Фишера – Снедекора с f 1 = n б – 1 и f 2 = n м – 1 степенями свободы (S 2 б – большая дисперсия, объём её выборки n б ). Определяется соответствующее экспериментальное (наблюдаемое) значение F экс . Критическое значение F кр при альтернативной гипотезе Н 1: D (Х ) > D (Y ) находится из таблицы критических точек распределения Фишера – Снедекора по уровню значимости a и числу степеней свободы f 1 и f 2 . Нулевая гипотеза принимается, если F экс < F кр .
Инструкция . Для расчета необходимо указать размерность исходных данных.
V) Гипотеза о равенстве нескольких дисперсий нормально распределённых генеральных совокупностей по выборкам одинакового объёма.
В данном случае при уровне значимостиa
нужно проверить гипотезу Н
0: D
(Х
1) = D
(Х
2) = …= D
(Х l
). Статистикой служит случайная величина 
, имеющая распределение Кочрена со степенями свободыf
= n
– 1 и l
(n –
объём каждой выборки, l
– количество выборок). Проверка этой гипотезы проводится так же, как и предыдущей. Используется таблица критических точек распределения Кочрена.
VI) Гипотеза о существенности корреляционной связи.
В данном случае при уровне значимостиa
нужно проверить гипотезу Н
0: r
= 0. (Если коэффициент корреляции равен нулю, то соответствующие величины не связаны друг с другом). Статистикой в данном случае служит случайная величина
,
имеющая распределение Стьюдента с f
= n
– 2 числом степеней свободы. Проверка этой гипотезы проводится аналогично проверке гипотезы (I).
Инструкция . Укажите количество исходных данных.
VII) Гипотеза о значении вероятности появления события.
Проведено достаточно большое количество n
независимых испытаний, в которых событие А
произошло m
раз. Есть основания полагать, что вероятность наступления данного события в одном испытании равна р 0
. Требуется при уровне значимостиa
проверить гипотезу о том, что вероятность события А
равна гипотетической вероятности р 0
. (Т.к. вероятность оценивается по относительной частоте, то проверяемую гипотезу можно сформулировать и иначе: значимо или нет различаются наблюдаемая относительная частота и гипотетическая вероятность).
Количество испытаний достаточно велико, поэтому относительная частота события А
распределена по нормальному закону. Если нулевая гипотеза верна, то её математическое ожидание равно р 0
, а дисперсия . В соответствии с этим в качестве статистики выберем случайную величину
,
которая распределена приближённо по нормальному закону с нулевым математическим ожиданием и единичной дисперсией. Проверка данной гипотезы осуществляется точно так же, как и в случае (I).
Инструкция . Для расчета необходимо заполнить исходные данные.
На разных стадиях статистического исследования и моделирования возникает необходимость в формулировке и экспериментальной проверке некоторых предположений (гипотез) относительно природы и величины неизвестных параметров анализируемой генеральной совокупности (совокупностей). Например, исследователь высказывает предположение: "выборка извлечена из нормальной генеральной совокупности" или "генеральная средняя анализируемой совокупности равна пяти". Такие предположения называются статистическими гипотезами.
Сопоставление высказанной гипотезы относительно генеральной совокупности с имеющимися выборочными данными, сопровождаемое количественной оценкой степени достоверности получаемого вывода, осуществляется с помощью того или иного статистического критерия и называется проверкой статистических гипотез .
Выдвинутая гипотеза называется нулевой (основной) . Ее принято обозначать Н 0 .
По отношению к высказанной (основной) гипотезе всегда можно сформулировать альтернативную (конкурирующую) , противоречащую ей. Альтернативную (конкурирующую) гипотезу принято обозначать Н 1 .
Цель статистической проверки гипотез состоит в том, чтобы на основании выборочных данных принять решение о справедливости основной гипотезы Н 0 .
Если выдвигаемая гипотеза сводится к утверждению о том, что значение некоторого неизвестного параметра генеральной совокупности в точности равно заданной величине, то эта гипотеза называется простой , например: "среднедушевой совокупный доход населения России составляет 650 рублей в месяц"; "уровень безработицы (доля безработных в численности экономически активного населения) в России равна 9%" . В других случаях гипотеза называется сложной .
В качестве нулевой гипотезы Н 0 принято выдвигать простую гипотезу, т.к. обычно бывает удобнее проверять более строгое утверждение.
Гипотезы о виде закона распределения исследуемой случайной величины;
Гипотезы о числовых значениях параметров исследуемой генеральной совокупности;
Гипотезы об однородности двух или нескольких выборок или некоторых характеристик анализируемых совокупностей;
Гипотезы об общем виде модели, описывающей статистическую зависимость между признаками и др.
Так как проверка статистических гипотез осуществляется на основании выборочных данных, т.е. ограниченного ряда наблюдений, решения относительно нулевой гипотезы Н 0 имеют вероятностный характер. Другими словами, такое решение неизбежно сопровождается некоторой, хотя возможно и очень малой, вероятностью ошибочного заключения как в ту, так и в другую сторону.
Так, в какой-то небольшой доле случаев α нулевая гипотеза Н 0 может оказаться отвергнутой, в то время как в действительности в генеральной совокупности она является справедливой. Такую ошибку называют ошибкой первого рода . А ее вероятность принято называтьуровнем значимости и обозначать α .
Наоборот, в какой-то небольшой доле случаев β нулевая гипотеза Н 0 принимается, в то время как на самом деле в генеральной совокупности она ошибочна, а справедлива альтернативная гипотеза Н 1 . Такую ошибку называют ошибкой второго рода . Вероятность ошибки второго рода принято обозначать β . Вероятность 1 - β называют мощностью критерия .
При фиксированном объеме выборки можно выбрать по своему усмотрению величину вероятности только одной из ошибок α или β . Увеличение вероятности одной из них приводит к снижению другой. Принято задавать вероятность ошибки первого рода α - уровень значимости. Как правило, пользуются некоторыми стандартными значениями уровня значимости α : 0,1; 0,05; 0,025; 0,01; 0,005; 0,001. Тогда, очевидно, из двух критериев, характеризующихся одной и той же вероятностью α отклонить правильную в действительности гипотезу Н 0 , следует принять тот, который сопровождается меньшей ошибкой второго рода β , т.е. большей мощностью. Снижения вероятностей обеих ошибок α и β можно добиться путем увеличения объема выборки.
Правильное решение относительно нулевой гипотезы Н 0 также может быть двух видов:
Будет принята нулевая гипотеза Н 0 , тогда как и на самом деле в генеральной совокупности верна нулевая гипотеза Н 0 ; вероятность такого решения 1 - α;
Нулевая гипотеза Н 0 будет отклонена в пользу альтернативной Н 1, тогда как и на самом деле в генеральной совокупности нулевая гипотеза Н 0 отклоняется в пользу альтернативной Н 1 ; вероятность такого решения 1 - β - мощность критерия.
Результаты решения относительно нулевой гипотезы можно проиллюстрировать с помощью таблицы 8.1.
Таблица 8.1
Проверка статистических гипотез осуществляется с помощью статистического критерия (назовем его в общем виде К ), являющего функцией от результатов наблюдения.
Статистический критерий - это правило (формула), по которому определяется мера расхождения результатов выборочного наблюдения с высказанной гипотезой Н 0 .
Статистический критерий, как и всякая функция от результатов наблюдения, является случайной величиной и в предположении справедливости нулевой гипотезы Н 0 подчинена некоторому хорошо изученному (и затабулированному) теоретическому закону распределения с плотностью распределения f(k) .
Выбор критерия для проверки статистических гипотез может быть осуществлен на основании различных принципов. Чаще всего для этого пользуются принципом отношения правдоподобия , который позволяет построить критерий наиболее мощный среди всех возможных критериев. Суть его сводится к выбору такого критерия К с известной функцией плотности f(k) при условии справедливости гипотезы Н 0 , чтобы при заданном уровнем значимости α можно было бы найти критическую точку К кр .распределения f(k) , которая разделила бы область значений критерия на две части: область допустимых значений, в которой результаты выборочного наблюдения выглядят наиболее правдоподобными, и критическую область, в которой результаты выборочного наблюдения выглядят менее правдоподобными в отношении нулевой гипотезы Н 0 .
Если такой критерий К выбран, и известна плотность его распределения, то задача проверки статистической гипотезы сводится к тому, чтобы при заданном уровне значимости α рассчитать по выборочным данным наблюдаемое значение критерия К набл. и определить является ли оно наиболее или менее правдоподобным в отношении нулевой гипотезы Н 0 .
Проверка каждого типа статистических гипотез осуществляется с помощью соответствующего критерия, являющегося наиболее мощным в каждом конкретном случае. Например, проверка гипотезы о виде закона распределения случайной величины может быть осуществлена с помощью критерия согласия Пирсона χ 2 ; проверка гипотезы о равенстве неизвестных значений дисперсий двух генеральных совокупностей - с помощью критерия F - Фишера; ряд гипотез о неизвестных значениях параметров генеральных совокупностей проверяется с помощью критерия Z - нормальной распределенной случайной величины и критерия T - Стьюдента и т.д.
Значение критерия, рассчитываемое по специальным правилам на основании выборочных данных, называется наблюдаемым значением критерия (К набл. ).
Значения критерия, разделяющие совокупность значений критерия на область допустимых значений (наиболее правдоподобных в отношении нулевой гипотезы Н 0 ) и критическую область (область значений, менее правдоподобных в отношении таблицам распределения случайной величины К , выбранной в качестве критерия, называются критическими точками(К кр.).
Областью допустимых значений (областью принятия нулевой гипотезы Н 0) К Н 0 не отклоняется.
Критической областью называют совокупность значений критерия К , при которых нулевая гипотеза Н 0 отклоняется в пользу конкурирующей Н 1 .
Различают одностороннюю (правостороннюю или левостороннюю) и двустороннюю критические области .
Если конкурирующая гипотеза - правосторонняя, например, Н 1: а > а 0 , то и критическая область - правосторонняя (рис 1). При правосторонней конкурирующей гипотезе критическая точка (К кр. правосторонняя) принимает положительные значения.
Если конкурирующая гипотеза - левосторонняя, например, Н 1: а < а 0 , то и критическая область - левосторонняя (рис 2). При левосторонней конкурирующей гипотезе критическая точка принимает отрицательные значения (К кр. левосторонняя) .
Если конкурирующая гипотеза - двусторонняя, например, Н 1: а ¹ а 0 , то и критическая область - двусторонняя (рис 3). При двусторонней конкурирующей гипотезе определяются две критические точки (К кр. левосторонняя и К кр. правосторонняя) .
Область допустимых Критическая
значений область
СТАТИСТИЧЕСКАЯ ПРОВЕРКА СТАТИСТИЧЕСКИХ
Понятие статистической гипотезы.
Виды гипотез. Ошибки первого и второго рода
Гипотеза - это предположение о некоторых свойствах изучаемых явлений. Под статистической гипотезой понимают всякое высказывание о генеральной совокупности, которое можно проверить статистически, то есть опираясь на результаты наблюдений в случайной выборке. Рассматривают два вида статистических гипотез: гипотезы о законах распределения генеральной совокупности и гипотезы о параметрах известных распределений.
Так, гипотеза о том, что затраты времени на сборку узла машины в группе механических цехов, выпускающих продукцию одного наименования и имеющих примерно одинаковые технико-экономические условия производства, распределяются по нормальному закону, является гипотезой о законе распределения. А гипотеза о том, что производительность труда рабочих в двух бригадах, выполняющих одну и ту же работу в одинаковых условиях, не различается (при этом производительность труда рабочих каждой бригады имеет нормальный закон распределения), является гипотезой о параметрах распределения.
Подлежащая проверке гипотеза называется нулевой, или основной, и обозначается Н 0 . Нулевой гипотезе противопоставляют конкурирующую, или альтернативную, гипотезу, которую обозначают Н 1 . Как правило, конкурирующая гипотеза Н 1 является логическим отрицанием основной гипотезы Н 0.
Примером нулевой гипотезы может быть следующая: средние двух нормально распределенных генеральных совокупностей равны, тогда конкурирующая гипотеза может состоять из предположения, что средние не равны. Символически это записывается так:
Н 0: М (Х ) = М (Y ); Н 1: М (Х ) М (Y ) .
Если нулевая (выдвинутая) гипотеза будет отвергнута, то имеет место конкурирующая гипотеза.
Различают гипотезы простые и сложные. Если гипотеза содержит только одно предположение, то это - простая гипотеза. Сложная гипотеза состоит из конечного или бесконечного числа простых гипотез.
Например, гипотеза Н 0: p = p 0 (неизвестная вероятность p равна гипотетической вероятности p 0 ) - простая, а гипотеза Н 0: p < p 0 - сложная, она состоит из бесчисленного множества простых гипотез вида Н 0: p = p i , где p i - любое число, меньше p 0 .
Выдвигаемая статистическая гипотеза может быть правильной или неправильной, поэтому необходимо ее проверить , опираясь на результаты наблюдений в случайной выборке; проверку производят статистическими методами , поэтому ее называют статистической.
При проверке статистической гипотезы пользуются специально составленной случайной величиной, называемой статистическим критерием (или статистикой ). Принимаемое заключение о правильности (или неправильности) гипотезы основывается на изучении распределения этой случайной величины по данным выборки. Поэтому статистическая проверка гипотез имеет вероятностный характер: всегда существует риск допустить ошибку при принятии (отклонении) гипотезы. При этом возможны ошибки двух родов.
Ошибка первого рода состоит в том, что будет отвергнута нулевая гипотеза, хотя на самом деле она верна.
Ошибка второго рода состоит в том, что будет принята нулевая гипотеза, хотя в действительности верна конкурирующая.
В большинстве случаев последствия указанных ошибок неравнозначны. Что лучше или хуже - зависит от конкретной постановки задачи и содержания нулевой гипотезы. Рассмотрим примеры. Допустим, что на предприятии о качестве продукции судят по результатам выборочного контроля. Если выборочная доля брака не превышает заранее установленной величины p 0 , то партия принимается. Другими словами, выдвигается нулевая гипотеза: Н 0: p p 0 . Если при проверке этой гипотезы допущена ошибка первого рода, то мы забракуем годную продукцию. Если же совершена ошибка второго рода, то потребителю будет отправлен брак. Очевидно, что последствия ошибки второго рода могут быть значительно более серьезными.
Другой пример можно привести из области юриспруденции. Будем рассматривать работу судей как действия по проверке презумпции невиновности подсудимого. В качестве основной проверяемой гипотезы следует рассмотреть гипотезу Н 0 : подсудимый невиновен. Тогда альтернативной гипотезой Н 1 является гипотеза: обвиняемый виновен в совершении преступления. Очевидно, что суд может совершить ошибки первого или второго рода при вынесении приговора подсудимому. Если допущена ошибка первого рода, то это означает, что суд наказал невиновного: подсудимому был вынесен обвинительный приговор, когда на самом деле он не совершал преступления. Если же судьи допустили ошибку второго рода, то это значит, что суд вынес оправдательный приговор, когда на самом деле обвиняемый виновен в совершении преступления. Очевидно, что последствия ошибки первого рода для обвиняемого будут значительно более серьезными, в то время как для общества наиболее опасными являются последствия ошибки второго рода.
Вероятность совершить ошибку первого рода называют уровнем значимости критерия и обозначают .
В большинстве случаев уровень значимости критерия принимают равным 0,01 или 0,05. Если, например, уровень значимости принят равным 0,01, то это означает, что в одном случае из ста имеется риск допустить ошибку первого рода (то есть отвергнуть правильную нулевую гипотезу).
Вероятность
совершить ошибку
второго рода
обозначают
.
Вероятность
не совершить ошибку второго рода, то
есть отвергнуть нулевую гипотезу, когда
она неверна, называется
мощностью критерия.
Статистический критерий.
Критические области
Статистическую гипотезу проверяют с помощью специально подобранной случайной величины, точное или приближенное распределение которой известно (обозначим ее К ). Эту случайную величину называют статистическим критерием (или просто критерием ).
Существуют различные статистические критерии, применяемые на практике: U - и Z -критерии (эти случайные величины имеют нормальное распределение); F -критерий (случайная величина распределена по закону Фишера - Снедекора); t -критерий (по закону Стьюдента); -критерий (по закону "хи-квадрат") и др.
Множество всех возможных значений критерия можно разбить на два непересекающихся подмножества: одно из них содержит значения критерия, при которых нулевая гипотеза принимается, а другое - при которых она отвергается.
Множество значений критерия, при которых нулевая гипотеза отвергается, называется критической областью . Будем обозначать критическую область через W .
Множество
значений критерия, при которых нулевая
гипотеза принимается, называется
областью
принятия гипотезы
(или
областью
допустимых значений критерия
).
Будем обозначать эту область как
.
Для проверки справедливости нулевой гипотезы по данным выборок вычисляют наблюдаемое значение критерия . Будем обозначать его К набл.
Основной
принцип проверки статистических гипотез
можно сформулировать так: если наблюдаемое
значение критерия попало в критическую
область (то есть
),
то нулевую гипотезу отвергают; если же
наблюдаемое значение критерия попало
в область принятия гипотезы (то есть
),
то нет оснований отвергать нулевую
гипотезу.
Какими принципами следует руководствоваться при построении критической области W ?
Допустим,
что гипотеза Н
0
на
самом деле верна. Тогда попадание
критерия
в критическую область в силу основного
принципа проверки статистических
гипотез влечет за собой отклонение
верной гипотезы Н
0
, а
значит, совершение ошибки первого рода.
Поэтому вероятность попадания
в область W
при справедливости
гипотезы Н
0
должна быть
равна уровню значимости критерия, то
есть
.
Заметим,
что вероятность совершить ошибку первого
рода выбирается достаточно малой (как
правило,
).
Тогда попадание критерия
в критическую область W
при
справедливости гипотезы Н
0
можно считать практически невозможным
событием. Если по данным выборочного
наблюдения событие
все же наступило, то его можно считать
несовместимым с гипотезой Н
0
(которая в результате и отвергается),
но совместимым с гипотезой Н
1
(которая в результате принимается).
Предположим
теперь, что верна гипотеза Н
1
.
Тогда попадание критерия
в область принятия гипотезы
влечет за собой принятие неверной
гипотезы Н
0
, что означает
совершение ошибки второго рода. Поэтому
.
Так
как события
и
являются взаимно противоположными, то
вероятность попадания критерия
в критическую область W
будет равна
мощности критерия, если гипотеза Н
1
верна, то
есть
.
Очевидно,
что критическую область следует выбирать
так, чтобы при заданном уровне значимости
мощность критерия
была максимальной. Максимизация мощности
критерия обеспечит минимум вероятности
допустить ошибку второго рода.
Следует отметить, что как бы ни было мало значение уровня значимости , попадание критерия в критическую область есть только маловероятное, но не абсолютно невозможное событие. Поэтому не исключено, что при верной нулевой гипотезе значение критерия, вычисленное по данным выборки, все же окажется в критической области. Отклоняя в этом случае гипотезу Н 0 , мы допускаем ошибку первого рода с вероятностью . Чем меньше , тем менее вероятно допустить ошибку первого рода. Однако с уменьшением уменьшается критическая область, а значит, становится менее возможным попадание в нее наблюдаемого значения К набл, даже когда гипотеза Н 0 неверна. При =0 гипотеза Н 0 всегда будет приниматься независимо от результатов выборки. Поэтому уменьшение влечет за собой увеличение вероятности принять неверную нулевую гипотезу, то есть совершить ошибку второго рода. В этом смысле ошибки первого и второго рода являются конкурирующими.
Так как исключить ошибки первого и второго рода невозможно, необходимо хотя бы стремиться в каждом конкретном случае свести к минимуму потери от этих ошибок. Конечно, желательно уменьшить обе ошибки одновременно, но так как они являются конкурирующими, то уменьшение вероятности допустить одну из них влечет увеличение вероятности допустить другую. Единственный путь одновременного уменьшения риска ошибок заключается в увеличении объема выборки .
В
зависимости от вида конкурирующей
гипотезы Н
1
строят
одностороннюю (правостороннюю и
левостороннюю) и двустороннюю критические
области.
Точки, отделяющие критическую
область
от
области принятия гипотезы
,
называют критическими точками
и
обозначают k
крит.
Для отыскания критической области
необходимо знать критические точки.
Правосторонняя
критическая область может быть описана
неравенством
К
>k
крит.
пр, где предполагается, что правая
критическая точка k
крит.
пр >0. Такая область состоит из точек,
находящихся по правую сторону от
критической точки k
крит.
пр, то есть она содержит множество
положительных и достаточно больших
значений критерия К.
Для нахождения
k
крит. пр задают
сначала уровень значимости критерия
.
Далее правую критическую точку k
крит.
пр находят из условия
.
Почему именно это требование определяет
правостороннюю критическую область?
Так как вероятность события (К
>k
крит.
пр )
мала, то, в силу принципа
практической невозможности маловероятных
событий, это событие при справедливости
нулевой гипотезы в единичном испытании
не должно наступить. Если все же оно
наступило, то есть вычисленное по данным
выборок наблюдаемое значение критерия
оказалось больше k
крит.
пр, то это можно объяснить тем, что
нулевая гипотеза не согласуется с
данными наблюдения и поэтому должна
быть отвергнута. Таким образом, требование
определяет такие значения критерия,
при которых нулевая гипотеза отвергается,
а они и составляют правостороннюю
критическую область.
Если
же
попало в область допустимых значений
критерия
,
то есть
<
k
крит. пр, то
основная гипотеза не отвергается, ибо
она совместима с данными наблюдения.
Заметим, что вероятность попадания
критерия
в область допустимых значений
при справедливости нулевой гипотезы
равна (1-)
и близка к 1.
Необходимо
помнить, что попадание значений критерия
в
область допустимых значений не является
строгим доказательством справедливости
нулевой гипотезы. Оно лишь указывает,
что между выдвигаемой гипотезой и
результатами выборки нет существенного
расхождения. Поэтому в таких случаях
говорят, что данные наблюдений согласуются
с нулевой гипотезой и нет оснований
отвергать ее.
Аналогично проводится построение и других критических областей.
Так,
л
евосторонняя
критическая
область описывается неравенством
К
<k
крит. л,
где k
крит.л <0.
Такая область состоит из точек, находящихся
по левую сторону от левой критической
точки k
крит.л,
то есть она представляет собой множество
отрицательных, но достаточно больших
по модулю значений критерия. Критическую
точку k
крит.л
находят из условия
(К
<k
крит.
л)
,
то есть вероятность того, что критерий
принимает значение, меньшее k
крит.л,
равна принятому уровню значимости
,
если нулевая гипотеза верна.
Двусторонняя
критическая область
описывается
следующими неравенствами: (К<
k
крит.л
или К
>k
крит.
пр), где предполагается, что k
крит.л <0
и k
крит. пр >0.
Такая область представляет собой
множество достаточно больших по модулю
значений критерия. Критические точки
находят из требования: сумма вероятностей
того, что критерий примет значение,
меньшее k
крит. л
или больше k
крит.
пр, должна быть равна принятому
уровню значимости при справедливости
нулевой гипотезы, то есть
(К<
k
крит.
л )+
(К
>k
крит.
пр )=
.
Если распределение критерия К симметрично относительно начала координат, то критические точки будут располагаться симметрично относительно нуля, поэтому k крит. л = - k крит. пр. Тогда двусторонняя критическая область становится симметричной и может быть описана следующим неравенством: > k крит. дв, где k крит. дв = k крит. пр Критическую точку k крит. дв можно найти из условия
Р(К< -k крит. дв )=Р(К >k крит. дв )= .
Замечание
1.
Для каждого критерия К
критические
точки при заданном уровне значимости
могут быть найдены из условия
только численно. Результаты численных
вычислений
k
крит
приведены в соответствующих таблицах
(см., например, прил. 4 – 6 в файле
«Приложения»).
Замечание 2. Описанный выше принцип проверки статистической гипотезы не доказывает еще ее истинность или неистинность. Принятие гипотезы Н 0 в сравнении с альтернативной гипотезой Н 1 не означает, что мы уверены в абсолютной правильности гипотезы Н 0 - просто гипотеза Н 0 согласуется с имеющимися у нас данными наблюдения, то есть является достаточно правдоподобным, не противоречащим опыту утверждением. Возможно, что с увеличением объема выборки n гипотеза Н 0 будет отвергнута.