Орлов А.И. Математика случая: Вероятность и статистика – основные факты: Закон больших чисел

Закон больших чисел

Неравенство Чебышёва позволяет доказать замечательный результат, лежащий в основе математической статистики – закон больших чисел. Из него вытекает, что выборочные характеристики при возрастании числа опытов приближаются к теоретическим, а это дает возможность оценивать параметры вероятностных моделей по опытным данным. Без закона больших чисел не было бы  части прикладной математической статистики.

Теорема Чебышёва. Пусть случайные величины Х₁, Х₂,…, Х_k попарно независимы и существует число С такое, что D(X_i)<C при всех i = 1, 2, …, k. Тогда для любого положительного  выполнено неравенство

   (11)

Доказательство. Рассмотрим случайные величины Y_k = Х₁ + Х₂+…,+  Х_k и Z_k = Y_k/k. Тогда согласно утверждению 10

М(Y_k) = М(Х₁)+М(Х₂)+…+М(Х_k), D(Y_k) = D(Х₁)+D(Х₂)+…+D(Х_k).

Из свойств математического ожидания следует, что М(Z_k) = М(Y_k)/k, а из свойств дисперсии - что D(Z_k) = D(Y_k)/k². Таким образом,

М(Z_k) ={М(Х₁)+М(Х₂)+…+М(Х_k)}/k,

D(Z_k) ={D(Х₁)+D(Х₂)+…+D(Х_k)}/k².

Из условия теоремы Чебышёва, что 

Применим к Z_k второе неравенство Чебышёва. Получим для стоящей в левой части неравенства (11) вероятности оценку

что и требовалось доказать.

Эта теорема была получена П.Л.Чебышёвым в той же работе 1867 г. «О средних величинах», что и неравенства Чебышёва.

Пример 13. Пусть С = 1,  = 0,1. При каких k правая часть неравенства (11) не превосходит 0,1? 0,05? 0,00001?

В рассматриваемом случае правая часть неравенства (11) равно 100/ k. Она не превосходит 0,1, если k не меньше 1000, не превосходит 0,05, если k не меньше 2000, не превосходит 0,00001, если k не меньше 10 000 000.

Правая часть неравенства (11), а вместе с ней и левая, при возрастании k и фиксированных С и  убывает, приближаясь к 0. Следовательно, вероятность того, что среднее арифметическое независимых случайных величин отличается от своего математического ожидания менее чем на , приближается к 1 при возрастании числа случайных величин, причем при любом . Это утверждение называют ЗАКОНОМ БОЛЬШИХ ЧИСЕЛ.

Наиболее важен для вероятностно-статистических методов принятия решений (и для математической статистики в целом) случай, когда все X_i , i = 1, 2, …, имеют одно и то же математическое ожидание M(X₁) и одну и ту же дисперсию . В качестве замены (оценки) неизвестного исследователю математического ожидания используют выборочное среднее арифметическое

Из закона больших чисел следует, что  при увеличении числа опытов (испытаний, измерений) сколь угодно близко приближается к М(Х₁), что записывают так:

Здесь знак  означает «сходимость по вероятности». Обратим внимание, что понятие «сходимость по вероятности» отличается от понятия «переход к пределу» в математическом анализе. Напомним, что последовательность b_n имеет предел b при , если для любого сколь угодно малого  существует число  такое, что при любом  справедливо утверждение: . При использовании понятия «сходимость по вероятности» элементы последовательности предполагаются случайными, вводится еще одно сколь угодно малое число  и утверждение  предполагается выполненным не наверняка, а с вероятностью не менее .

Сходимость частот к вероятностям. Уже отмечалось, что с точки зрения ряда естествоиспытателей вероятность события А – это число, к которому приближается отношение количества осуществлений события А к количеству всех опытов при безграничном увеличении числа опытов. Известный математики Якоб Бернулли (1654-1705), живший в городе Базель в Швейцарии, в самом конце XVII века доказал это утверждение в рамках математической модели (опубликовано доказательство было лишь после его смерти, в 1713 году). Современная формулировка теоремы Бернулли такова.

Теорема Бернулли. Пусть m – число наступлений события А в k независимых (попарно) испытаниях, и р есть вероятность наступления события А в каждом из испытаний. Тогда при любом  справедливо неравенство

   (12)

Доказательство. Как показано в примере 10, случайная величина m имеет биномиальное распределение с вероятностью успеха р и является суммой k независимых случайных величин X_i, i = 1, 2. …, k, каждое из которых равно 1 с вероятностью р и 0 с вероятностью 1-р, т.е. m= X₁+ X₂+…+ X_k .Применим к X₁, X₂,…, X_k теорему Чебышёва с С = р(1 - р) и получим требуемое неравенство (12).

Теорема Бернулли дает возможность связать математическое определение вероятности (по А.Н.Колмогорову) с определением ряда естествоиспытателей (по Р. Мизесу (1883-1953)), согласно которому вероятность есть предел частоты  в бесконечной последовательности испытаний. Продемонстрируем эту связь. Для этого сначала отметим, что

при всех р. Действительно,

Следовательно, в теореме Чебышёва можно использовать С = ¼. Тогда при любом р и фиксированном  правая часть неравенства (12) при возрастании k приближается к 0, что и доказывает согласие математического определения в рамках вероятностной модели с мнением естествоиспытателей.

Есть и прямые экспериментальные подтверждения того, что частота осуществления определенных событий близка к вероятности, определенной из теоретических соображений. Рассмотрим бросания монеты. Поскольку и герб, и решетка имеют одинаковые шансы оказаться сверху, то вероятность выпадения герба равна ½ из соображений равновозможности. Французский естествоиспытатель XVIII века Бюффон бросил монету 4040 раз, герб выпал при этом 2048 раз. Частота появления герба в опыте Бюффона равна 0,507. Английский статистик К.Пирсон бросил монету 12000 раз и при этом наблюдал 6019 выпадений герба – частота 0,5016. В другой раз он бросил монету 24000 раз, герб выпал 12012 раз – частота 0,5005. Как видим, во всех этих случаях частоты лишь незначительно отличаются от теоретической вероятности 0,5 [6, с.148].