Прикладная статистика: Центральные предельные теоремы

Часть 1. Фундамент прикладной статистики

1.4. Теоретическая база прикладной статистики

1.4.2. Центральные предельные теоремы

В разделе 1.2. уже был приведен простейший вариант Центральной предельной теоремы (ЦПТ) теории вероятностей.

Центральная предельная теорема (для одинаково распределенных слагаемых). Пусть X₁, X₂,…, X_n, …– независимые одинаково распределенные случайные величины с математическими ожиданиями M(X_i) = m и дисперсиями D(X_i) = , i = 1, 2,…, n,… Тогда для любого действительного числа х существует предел

где Ф(х) – функция стандартного нормального распределения.

Эту теорему иногда называют теоремой Линдеберга-Леви [3, с.122].

В ряде прикладных задач не выполнено условие одинаковой распределенности. В таких случаях центральная предельная теорема обычно остается справедливой, однако на последовательность случайных величин приходится накладывать те или иные условия. Суть этих условий состоит в том, что ни одно слагаемое не должно быть доминирующим, вклад каждого слагаемого в среднее арифметическое должен быть пренебрежимо мал по сравнению с итоговой суммой. Наиболее часто используется теорема Ляпунова.

Центральная предельная теорема (для разнораспределенных слагаемых) – теорема Ляпунова. Пусть X₁, X₂,…, X_n, …– независимые   случайные величины с математическими ожиданиями M(X_i) = m_i и дисперсиями D(X_i) = , i = 1, 2,…, n,… Пусть при некотором δ>0 у всех рассматриваемых случайных величин существуют центральные моменты порядка 2+δ и безгранично убывает «дробь Ляпунова»:

где

Тогда для любого действительного числа х существует предел

  (1)

где Ф(х) – функция стандартного нормального распределения.

В случае одинаково распределенных случайных слагаемых

и теорема Ляпунова переходит в теорему Линдеберга-Леви.

История получения центральных предельных теорем для случайных величин растянулась на два века – от первых работ Муавра в 30-х годах 18-го века для необходимых и достаточных условий, полученных Линдебергом и Феллером в 30-х годах 20-го века.

Теорема Линдеберга-Феллера. Пусть X₁, X₂,…, X_n, …– независимые   случайные величины с математическими ожиданиями M(X_i) = m_i и дисперсиями D(X_i) = , i = 1, 2,…, n,… Предельное соотношение (1), т.е. центральная предельная теорема, выполнено тогда и только тогда, когда при любом τ>0

где F_k(x) обозначает функцию распределения случайной величины X_k.

Доказательства перечисленных в настоящем подразделе центральных предельных теорем для случайных величин можно найти в классическом курсе теории вероятностей [2].

Для прикладной статистики большое значение имеет многомерная центральная предельная теорема. В ней речь идет не о сумме случайных величин, а о сумме случайных векторов.

 Необходимое и достаточное условие многомерной сходимости [3, с.124]. Пусть F_n обозначает совместную функцию распределения k-мерного случайного вектора , n = 1,2,…, и F_λn – функция распределения линейной комбинации . Необходимое и достаточное условие для сходимости F_n  к некоторой k-мерной функции распределения F состоит в том, что F_λn имеет предел для любого вектора λ.

Приведенная теорема ценна тем, что сходимость векторов сводит к сходимости линейных комбинаций их координат, т.е. к сходимости обычных случайных величин, рассмотренных ранее. Однако она не дает возможности непосредственно указать предельное распределение. Это можно сделать с помощью следующей теоремы.

Теорема о многомерной сходимости. Пусть F_n и F_λn – те же, что в предыдущей теореме. Пусть F - совместная функция распределения k-мерного случайного вектора . Если функция распределения F_λn сходится при росте объема выборки к функции распределения F_λ для любого вектора λ, где F_λ – функция распределения линейной комбинации , то F_n сходится к F.

Здесь сходимость F_n к F означает, что для любого k-мерного вектора  такого, что функция распределения F непрерывна в , числовая последовательность F_n сходится при росте n к числу F. Другими словами, сходимость функций распределения понимается ровно также, как при обсуждении  предельных теорем для случайных величин выше. Приведем многомерный аналог этих теорем.

Многомерная центральная предельная теорема [3]. Рассмотрим независимые одинаково распределенные  k-мерные случайные вектора

где штрих обозначает операцию транспонирования вектора. Предположим, что случайные вектора U_n имеют моменты первого и второго порядка, т.е.

М(U_n) = μ, D(U_n) = Σ,

где  μ – вектор математических ожиданий координат случайного вектора, Σ – его ковариационная матрица. Введем последовательность средних арифметических случайных векторов:

Тогда случайный вектор  имеет асимптотическое k-мерное нормальное распределение , т.е. он асимптотически распределен так же, как k-мерная нормальная величина с нулевым математическим ожиданием, ковариационной Σ и плотностью

Здесь Σ - определитель матрицы Σ. Другими словами, распределение случайного вектора  сходится к k-мерному нормальному распределению с нулевым математическим ожиданием и ковариационной матрицей Σ.

Напомним, что многомерным нормальным распределением с математическим ожиданием μ и ковариационной матрицей Σ называется распределение, имеющее плотность

Многомерная центральная предельная теорема показывает, что распределения сумм независимых одинаково распределенных случайных векторов при большом числе слагаемых хорошо приближаются с помощью нормальных распределений, имеющих такие же первые два момента (вектор математических ожиданий координат случайного вектора и его корреляционную матрицу), как и исходные вектора. От одинаковой распределенности можно отказаться, но это потребует некоторого усложнения символики. В целом из теоремы о многомерной сходимости вытекает, что многомерный случай ничем принципиально не отличается от одномерного.

Пример. Пусть X₁, … X_n ,…– независимые одинаково распределенные случайные величины. Рассмотрим k-мерные независимые одинаково распределенные случайные вектора

Их математическое ожидание – вектор теоретических начальных моментов, а ковариационная матрица составлена из соответствующих центральных моментов. Тогда - вектор выборочных центральных моментов. Многомерная центральная предельная теорема утверждает, что  имеет асимптотически нормальное распределение. Как вытекает из теорем о наследовании сходимости и о линеаризации (см. ниже), из распределения  можно вывести распределения различных функций от выборочных начальных моментов. А поскольку центральные моменты выражаются через начальные моменты, то аналогичное утверждение верно и для них.