Орлов А.И. Математика случая: Вероятность и статистика – основные факты: О проверке статистических гипотез

О проверке статистических гипотез

С помощью неравенства (12) можно кое-что сказать по поводу проверки соответствия качества продукции заданным требованиям.

Пусть из 100000 единиц продукции 30000 оказались дефектными. Согласуется ли это с гипотезой о том, что вероятность дефектности равна 0,23? Прежде всего, какую вероятностную модель целесообразно использовать? Принимаем, что проводится сложный опыт, состоящий из 100000 испытаний 100000 единиц продукции на годность. Считаем, что испытания (попарно) независимы и что в каждом испытании вероятность того, что единица продукции является дефектной, равна р. В реальном опыте получено, что событие «единица продукции не является годной» осуществилось 30000 раз при 100000 испытаниях. Согласуется ли это с гипотезой о том, что вероятность дефектности р = 0,23?

Для проверки гипотезы воспользуемся неравенством (12). В рассматриваемом случае k = 100000, m = 30000, m/k = 0,3, p = 0,23, m/k – p = 0,07. Для проверки гипотезы поступают так. Оценим вероятность того, что m/k отличается от р так же, как в рассматриваемом случае, или больше, т.е. оценим вероятность  выполнения неравенства m/k – 0,23 > 0,07. Положим в неравенстве (12) р = 0,23,  = 0,07. Тогда

.   (13)

При k = 100000 правая часть (13) меньше 1/2500. Значит, вероятность того, что отклонение будет не меньше наблюдаемого, весьма мала. Следовательно, если исходная гипотеза верна, то в рассматриваемом опыте осуществилось событие, вероятность которого меньше 1/2500. Поскольку 1/2500 – очень маленькое число, то исходную гипотезу надо отвергнуть.

Подробнее методы проверки статистических гипотез будут рассмотрены ниже. Здесь отметим, что одна из основных характеристик метода проверки гипотезы – уровень значимости, т.е. вероятность отвергнуть проверяемую гипотезу (ее в математической статистике называют нулевой и обозначают Н₀), когда она верна. Для проверки статистической гипотезы часто поступают так. Выбирают уровень значимости - малое число . Если описанная в предыдущем абзаце вероятность меньше , то гипотезу отвергают, как говорят, на уровне значимости . Если эта вероятность больше или равна , то гипотезу принимают. Обычно в вероятностно-статистических методах принятия решений выбирают  = 0,05, значительно реже  = 0,01 или  = 0,1, в зависимости от конкретной практической ситуации. В рассматриваемом случае , напомним, та доля опытов (т.е. проверок партий по 100000 единиц продукции), в которой мы отвергаем гипотезу Н₀: р = 0,23, хотя она верна.

Насколько результат проверки гипотезы Н₀ зависит от числа испытаний k? Пусть при k = 100, k = 1000, k = 10000 оказалось, что m = 30, m = 300, m = 3000 соответственно, так что во всех случаях m/k = 0,3. Какие значения принимает вероятность

и ее оценка – правая часть формулы (13)?

При k = 100 правая часть (13) равна приблизительно 0,36, что не дает оснований отвергнуть гипотезу. При k = 1000 правая часть (13) равна примерно 0,036. Гипотеза отвергается на уровне значимости = 0,05 (и α = 0,1), но на основе оценки вероятности с помощью правой части формулы (13) не удается отвергнуть гипотезу на уровне значимости α = 0,01. При k = 10000 правая часть (13) меньше 1/250, и гипотеза отвергается на всех обычно используемых уровнях значимости.

Более точные расчеты, основанные на применении центральной предельной теоремы теории вероятностей (см. ниже), дают Р₁₀₀ = 0,095, Р₁₀₀₀ = 0,0000005, так что оценка (13) является в рассматриваемом случае весьма завышенной. Причина в том, что получена она из наиболее общих соображений, применительно ко всем возможным случайным величинам улучшить ее нельзя (см. пример 11 выше), но применительно к конкретному биномиальному распределению – можно.

Ясно, что без введения уровня значимости не обойтись, ибо даже очень большие отклонения m/k от р имеют положительную вероятность осуществления. Так, при справедливости гипотезы Н₀ событие «все 100000 единиц продукции являются дефектными» отнюдь не является невозможным с математической точки зрения, оно имеет положительную вероятность осуществления, равную 0,23¹⁰⁰⁰⁰⁰, хотя эта вероятность и невообразимо мала.

Аналогично разберем проверку гипотезы о симметричности монеты.

Пример 14. Если монета симметрична, то р = ½, где р – вероятность выпадения герба. Согласуется ли с этой гипотезой результат эксперимента, в котором при 10000 бросаниях выпало 4000 гербов?

В рассматриваемом случае m/k = 0,4. Положим в неравенстве (12) р = 0,5, ε = 0,1:

При k = 10000 правая часть последнего неравенства равна 1/400. Значит, если исходная гипотеза верна, то в нашем единственном эксперименте осуществилось событие, вероятность которого весьма мала – меньше 1/400. Поэтому исходную гипотезу необходимо отвергнуть.

Если из 1000 бросаний монеты гербы выпали в 400 случаях, то правая часть выписанного выше неравенства равна 1/40. Гипотеза симметричности отклоняется на уровне значимости 0,05 (и 0,1), но рассматриваемые методы не дают возможности отвергнуть ее на уровне значимости 0,01. 

Если k = 100, а m = 40, то правая часть неравенства равна ¼. Оснований для отклонения гипотезы нет. С помощью более тонких методов, основанных на центральной предельной теореме теории вероятностей, можно показать, что левая часть неравенства равна приблизительно 0,05. Это показывает, как важно правильно выбрать метод проверки гипотезы или оценивания параметров. Следовательно, целесообразна стандартизация подобных методов, позволяющая сэкономить усилия, необходимые для сравнения и выбора наилучшего метода, а также избежать устаревших, неверных или неэффективных методов.

Ясно, что даже по нескольким сотням опытов нельзя достоверно отличить абсолютно симметричную монету (р = ½) от несколько несимметричной монеты (для которой, скажем, р = 0,49). Более того, любая реальная монета несколько несимметрична, так что монета с р = ½ - математическая абстракция. Между тем в ряде управленческих и производственных ситуаций необходимо осуществить справедливую жеребьевку, а для этого требуется абсолютно симметричная монета. Например, речь может идти об очередности рассмотрения инвестиционных проектов комиссией экспертов, о порядке вызова для собеседования кандидатов на должность, об отборе единиц продукции из партии в выборку для контроля и т.п.

Пример 15. Можно ли с помощью несимметричной монеты получить последовательность испытаний с двумя исходами, каждый из которых имеет вероятность 1/2 ?

Ответ: да, можно. Приведем способ, предложенный видным польским математиком Гуго Штейнгаузом (1887-1972).

Будем бросать монету два раза подряд и записывать исходы бросаний так (Г – герб, Р – решетка, на первом месте стоит результат первого бросания, на втором – второго): ГР запишем как Г, в то время РГ запишем как Р, а ГГ и РР вообще не станем записывать. Например, если исходы бросаний окажутся такими:

ГР, РГ, ГР, РР, ГР, РГ, ГГ, РГ, РР, РГ,

то запишем их в виде:

Г,   Р,   Г, Г,    Р,         Р, Р.

Сконструированная таким образом последовательность обладает теми же свойствами, что и полученная при бросании идеально симметричной монеты, поскольку даже у несимметричной монеты последовательность ГР встречается столь же часто, как и последовательность РГ. 

Применим теорему Бернулли и неравенство (12) к обработке реальных данных.

Пример 16. С 1871 г. по 1900 г. в Швейцарии родились 1359671 мальчик и 1285086 девочек. Совместимы ли эти данные с предположением о том, что вероятность рождения мальчика равна 0,5? А с предположением, что она равна 0,515? Другими словами, требуется проверить нулевые гипотезы Н₀: р = 0,5 и Н₀: р = 0,515 с помощью неравенства (12).

Число испытаний равно общему числу рождений, т.е. 1359671 + 1285086 = 2644757. Есть все основания считать испытания независимыми. Число рождений мальчиков составляет приблизительно 0,514 всех рождений. В случае р = ½ имеем ε = 0,014, и правая часть неравенства (12) имеет вид

Таким образом, гипотезу р = 0,5 следует считать несовместимой с приведенными в условии данными. В случае р = 0,515 имеем ε = 0,001, и правая часть (12) равна приблизительно 0,1, так что с помощью неравенства (12) отклонить гипотезу Н₀: р = 0,515 нельзя.

Итак, здесь на основе элементарной теории вероятностей (с конечным пространством элементарных событий) мы сумели построить вероятностные модели для описания проверки качества деталей (единиц продукции) и бросания монет и предложить методы проверки гипотез, относящихся к этим явлениям. В математической статистике есть более тонкие и сложные методы проверки описанных выше гипотез, которыми и пользуются в практических расчетах.

Можно спросить: «В рассмотренных выше моделях вероятности были известны заранее – со слов Струкова или же из-за того, что мы предположили симметричность монеты. А как строить модели, если вероятности неизвестны? Как оценить неизвестные вероятности?» Теорема Бернулли – результат, с помощью которого дается ответ на этот вопрос. Именно, оценкой неизвестной вероятности р является число m/k, поскольку доказано, что при возрастании k вероятность того, что m/k отличается от p более чем на какое-либо фиксированное число, приближается к 0. Оценка будет тем точнее, чем больше k. Более того, можно доказать, что с некоторой точки зрения (см. далее) оценка m/k для вероятности р является наилучшей из возможных (в терминах математической статистики – состоятельной, несмещенной и эффективной).