Прикладная статистика: Предельная теория непараметрических критериев

Часть 2. Основные проблемы прикладной статистики

2.3. Проверка гипотез

2.3.3. Предельная теория непараметрических критериев

В прикладной статистике широко используются статистики типа омега-квадрат и типа Колмогорова-Смирнова. Они применяются для проверки согласия с фиксированным распределением или семейством распределений, для проверки однородности двух выборок, симметрии распределения относительно 0, при оценивании условной плотности и регрессии в пространствах произвольной природы и т.д.

Статистики интегрального типа и их асимптотика. Рассмотрим статистики интегрального типа

, (1)

где Х – некоторое пространство, по которому происходит интегрирование (например, X = [0; 1], X = R¹ или X = R^k). Здесь {α} – направленное множество, переход к пределу по которому обозначен как α→∞ (см. главу 1.4). Случайные функции f_α: X×Ω → Y обычно принимают значения, являющиеся числами. Но иногда рассматривают и постановки, в которых У = R^k или У – банахово пространство (т.е. полное нормированное пространство [8]). Наконец, F_α(x,ω) – случайная функция распределения или случайная вероятностная мера; в последнем случае используют также обозначение dF_α(x,ω)= F_α(dx,ω).

Предполагаются выполненными необходимые для корректности внутриматематические предположения измеримости, например, сформулированные в [9, 10].

Пример 1. Рассмотрим критерий Лемана – Розенблатта, т.е. критерий типа омега-квадрат для проверки однородности двух независимых выборок (см. главу 3.1). Его статистика имеет вид:

A = F_m(x) – G_n(x))²dH_m+n(x) ,

где F_m(x) – эмпирическая функция распределения, построенная по первой выборке объема m, G_n(x)) - эмпирическая функция распределения, построенная по второй выборке объема n, а H_m+n(x) – эмпирическая функция распределения, построенная по объединенной выборке объема m+n. Легко видеть, что

H_m+n(x) = F_m(x) + G_n(x).

Ясно, что статистика А имеет вид (1). При этом х – действительное число, Х = У = R¹, в роли α выступает пара (m, n), и α→∞ означает, что min(m, n) → ∞. Далее,

f_α(x,ω) =.

Наконец, F_α(x,ω) = H_m+n(x).

Теперь обсудим асимптотическое поведение функций f_α(x,ω) и F_α(x,ω), с помощью которых определяется статистика А. Ограничимся случаем, когда справедлива гипотеза однородности, функции распределения, соответствующие генеральным совокупностям, из которых взяты выборки, совпадают. Их общую функцию распределения обозначим F(x). Она предполагается непрерывной. Введем в рассмотрение выборочные процессы

.

Нетрудно проверить, что

.

Сделаем замену переменной t = F(x). Тогда выборочные процессы переходят в соответствующие эмпирические (см. главу 1.4):

.

Конечномерные распределения этого процесса, т.е. распределения случайных векторов

для всех возможных наборов (t₁, t₂, … , t_k), сходятся к конечномерным распределениям квадрата броуновского моста ξ²(t). В соответствии с подразделом 1.4.5 рассматриваемая сходимость по распределению обозначается так:

.      (2)

Нетрудно видеть, что

F_α(x,ω) = H_m+n(x) → F(x)

при α→∞. С помощью замены переменной t = F(x) получаем, что

F_α(F^-1(t),ω) = H_m+n(F^-1(t)) → t   (3)

при α→∞. Из соотношений (2) и (3) хотелось бы сделать вывод, что в случаен статистики Лемана - Розенблатта типа омега-квадрат

,

т.е. предельным распределением этой статистики является классическое распределение [6], найденное как предельное для одновыборочной статистики критерия согласия омега-квадрат Крамера-Мизеса-Смирнова.

Действительно, сформулированное утверждение справедливо. Однако доказательство нетривиально.

Так, может показаться очевидным следующее утверждение.

Утверждение 1. Пусть f: [0; 1] → R¹ – ограниченная функция, G_n(x) и G(x) – функции распределения, G_n(0) = G(0) =0, G_n(1) = G(1) = 1, причем G_n(x) → G(x) при всех х. Тогда

.         (4)

Это утверждение неверно (ср. [5, с.42]). Действительно, пусть f(x) = 1, если х рационально, и f(x) = 0, если х иррационально, G(x) =x, а G_n(x) имеет скачки величиной 2^-n в точках m/2ⁿ, m = 1, 2, … , 2ⁿ при всех n =1, 2, … Тогда G_n(x) → G(x) при всех х, однако

при всех n =1, 2, … Следовательно, вопреки сформулированному выше утверждению 1,

,

т.е. соотношение (4) неверно.

Итак, сформулируем проблему. Пусть известно, что последовательность случайных функций f_α(x, ω) сходится по распределению при α→∞ к случайной функции f(x,ω). Пусть последовательность случайных мер F_α(A,ω) сходится по распределению к вероятностной мере F(A) при α→∞. Если речь идет о конечномерном пространстве и меры задаются функциями распределения, то сходимость F_α(х,ω) к F(х) должна иметь место во всех точках непрерывности F(х). В каких случаях можно утверждать, что при α→∞ справедлив предельный переход    

?

Выше показано, что, например, ограниченности f_α(x, ω) для этого недостаточно.

Метод аппроксимации ступенчатыми функциями. Пусть T = {С₁, С₂, … , С_k} – разбиение пространства Х на непересекающиеся подмножества. Пусть в каждом элементе С_j разбиения T выделена точка x_j, j = 1, 2, … , k. На множестве функций f: X → Y введем оператор A_T: если xС_j, то

A_Tf(x) = f(x_j), j = 1, 2, … . k.      (5)

Тогда A_Tf – аппроксимация функции f ступенчатыми (кусочно-постоянными) функциями.

Пусть f_α(x,ω) – последовательность случайных функций на Х, а К(∙) – функционал на множестве всех возможных их траекторий как функций от х. Для изучения распределения К(f_α) методом аппроксимации ступенчатыми функциями используют разложение

К(f_α) = К(А_Тf_α) + {К(f_α) - К(А_Тf_α)}.      (6)

Согласно (5) распределение первого слагаемого в (6) определяется конечномерным распределением случайного элемента, а именно, распределением вектора

(f_α(x₁,ω), f_α(x₂,ω), …  f_α(x_k,ω)).  (7)

В обычных постановках предельной теории непараметрических критериев распределение вектора (7) сходится при α→∞ к соответствующему конечномерному распределению предельной случайной функции f(x,ω), т.е. к распределению случайного вектора

(f(x₁,ω), f(x₂,ω), …  f(x_k,ω)).      (8)

В соответствии с теорией наследования сходимости (глава 1.4) при слабых условиях на функционал К(∙) из сходимости по распределению вектора (7) к вектору (8) следует сходимость по распределению К(А_Тf_α) к К(А_Тf).

Используя аналогичное (6) разложение

К(f) = К(А_Тf) + {К(f) - К(А_Тf)}, (9)

можно устанавливать сходимость по распределению К(f_α) к К(f) при α→∞ в два этапа: сначала выбрать разбиение Т так, чтобы вторые слагаемые в правых частях соотношений (6) и (9) были малы, а затем при фиксированном операторе А_Т воспользоваться сходимостью по распределению К(А_Тf_α) к К(А_Тf).

Рассмотрим простой пример применения метода аппроксимации ступенчатыми функциями.

Обобщение теоремы Хелли. Пусть f: [0; 1] → R¹ – измеримая функция, F_n(x) – функции распределений, сосредоточенных на отрезке [0; 1]. Пусть F_n(x) сходятся в основном к функции распределения F(x), т.е.

       (10)

для всех х, являющихся точками непрерывности F(x).

Утверждение 2. Если f(x) – непрерывная функция, то

       (11)

(рассматриваются интегралы Лебега-Стилтьеса).

Утверждение 2 известно в литературе как первая теорема Хелли [8, с.344-346], вторая теорема Хелли [11, с.174-175], лемма Хелли-Брея [12, с.193-194].

Естественно поставить вопрос: при каких f из (10) следует (11)? Необходимо ввести условия и на F_n: если F_n ≡ F, то соотношение (11) верно для любой измеримой функции f, для которой интеграл в (11) существует. Поэтому рассмотрим следующую постановку.

Постановка 1. Пусть функция f такова, что для любой последовательности F_n, удовлетворяющей (10), справедливо (11). Что можно сказать о функции f?

В работах [9, 10] найдены следующие необходимые и достаточные условия на функцию f.

Теорема 1. Пусть ограниченная на [0; 1] функция f интегрируема по Риману-Стилтьесу по функции распределения F(x). Тогда для любой последовательности функций распределения F_n, сходящейся в основном к F, имеет место предельный переход (11).

Теорема 2. Пусть функция f не интегрируема по Риману-Стилтьесу по функции распределения F(x). Тогда существует последовательность функций распределения F_n, сходящаяся в основном к F, для которой соотношение (11) не выполнено.

Теоремы 1 и 2 в совокупности дают необходимые и достаточные условия для f в постановке 1. А именно, необходимо и достаточно, чтобы ограниченная на [0; 1] функция f была интегрируема по Риману-Стилтьесу по F.

Напомним определение интегрируемости функции f по Риману-Стилтьесу по функции распределения F [8, с.341]. Рассмотрим разбиение T = {С₁, С₂, … , С_k}, где

С_i = [y_i-1, y_i), i = 1, 2, …, m – 1, С_m = [y_m-1, y_m],     (12)

0 = y₀ < y₁ < y₂ <…< y_m = 1.

Выберем в С_i произвольную точку x_i, i = 1, 2, …, m, и составим сумму

.

Если при max(y_i – y_i-1) → 0 эти суммы стремятся к некоторому пределу (не зависящему ни от способа дробления отрезка [0; 1], ни от выбора точек x_i  в каждом из элементов разбиения), то этот предел называется интегралом Римана-Стилтьеса от функции f по функции F по отрезку [0; 1] и обозначается символом, приведенным в правой части равенства (11).

Рассмотрим суммы Дарбу-Стилтьеса

где

.

Ясно, что

S_H(T) < S(T) < S_B(T).

Необходимым и достаточным условием интегрируемости по Риману-Стилтьесу является следующее: для любой последовательности разбиений T_k, k = 1, 2, 3, … вида (12) такой, что max(y_i – y_i-1) → 0 при k→∞, имеем

.      (13)

Напомним, что согласно подразделу 1.4.3 колебанием δ(f, B) функции f на множестве B называется δ(f, B) = sup{f(x) – f(y), xB, yB}. Поскольку

δ(f, С_i) = M_i – m_i,

то условие (13) можно записать в виде

.       (14)

Условие (14), допускающее обобщение с Х = [0; 1] и f: [0; 1] → R¹ на X и f более общего вида, и будем использовать при доказательстве теорем 1 и 2.

Доказательство теоремы 1. Согласно методу аппроксимации ступенчатыми функциями рассмотрим оператор А_Т. Как легко проверить, имеет место разложение

.   (15)

Поскольку

f(x) - A_Tf(x) < δ(f, X_i),  xС_i,

то первое слагаемое в правой части (15) не превосходит

,      (16)

а второе не превосходит

.

Согласно определению оператора А_Т третье слагаемое в (15) имеет вид

.

Очевидно, оно не превосходит по модулю

(здесь используется ограниченность f на X).

Согласно (16) первое слагаемое в правой части (15) не превосходит

.

Поскольку

,

то первое слагаемое в правой части (15) не превосходит

.

Из оценок, относящихся к трем слагаемым в разложении (15), следует, что

.   (17)

Используя оценку (17), докажем, что β_n → 0 при n → ∞. Пусть дано ε > 0. Согласно условию интегрируемости функции f по Риману-Стилтьесу, т.е. условию (14), можно указать разбиение T = T(ε) такое, что

, (18)

и в точках y_i, i = 1, 2, …, m - 1 (см. (12)), функция F непрерывна.

Поскольку

F_n(X_i) = F_n(y_i) - F_n(y_i-1),

то из (10) следует, что существует число n = n(ε) такое, что при n > n(ε) справедливо неравенство

.       (19)

Из (17), (18) и (19) следует, что при n > n(ε) справедливо неравенство

,

что и требовалось доказать.

Обсудим условие ограниченности f. Если оно не выполнено, то из (10) не всегда следует (11).

Пример 2. Пусть f(x) = 1/x при x > 0 и f(0)=0. Пусть F(0,5) = 0, т.е. предельное распределение сосредоточено на [1/2; 1]. Пусть распределение F_n на [0; ½) имеет единственный атом в точке x = 1/n величиной n^-1/2, а на [1/2; 1] справедливо (10). Тогда по причинам, изложенным при доказательстве теоремы 1,

,

однако

,

т.е. соотношение (11) не выполнено.

Условие ограниченности подынтегральной функции f можно заменить, как это сделано, например, в [9], на условие строгого возрастания функции распределения F.

Лемма. Пусть функции распределения F всюду строго возрастает, т.е. из x₁ < x₂ вытекает F(x₁) < F(x₂). Пусть функция f интегрируема по Риману-Стилтьесу по F, т.е. выполнено (14). Тогда функция f ограничена.

Доказательство. Рассмотрим точки 0 = y₀ < y₁ < y₂ <…< y_2m = 1 и два разбиения

.

Тогда для любых двух точек х и х′ можно указать конечную последовательность точек x₁ = x, x₂, x₃, …, x_s, x_s+1 = x′ такую, что любые две соседние точки x_i, x_i+1, i = 1, 2, …, s, одновременно принадлежат некоторому элементу C_i разбиения T₁ или разбиения T₂, причем С_i ≠ С_j при i ≠ j. Действительно, пусть . Пусть для определенности q > p. Тогда можно положить x₂ = y_p+1, x₃ = y_p+2, …, x_s = y_q. Поскольку среди элементов разбиений Т₁ и Т₂ есть С₁ = [y_p; y_p+2), то . Далее, , и т.д.

Из указанных выше свойств последовательности x₁ = x, x₂, x₃, …, x_s, x_s+1 = x′ следует, что

.

Пусть теперь число max(y_i – y_i-2) настолько мало, что согласно (14)

.

Тогда согласно двум последним соотношениям

,

что и доказывает лемму.

Доказательство теоремы 2. Пусть условие (14) не выполнено, т.е. существуют число γ > 0 и последовательность разбиений T_n, n = 1, 2, …, такие, что max(y_i – y_i-1) → 0 при n→∞ и при всех n

.  (20)

Для доказательства теоремы построим две последовательности функций распределения F_1n и F_2n, n = 1, 2, …, для которых выполнено (10), но последовательность

не стремится к 0 при n → ∞. Тогда (11) не выполнено хотя бы для одной из последовательностей F_1n и F_2n.

Для любого С – элемента некоторого разбиения Т – можно указать, как вытекает из определения δ(f, C), точки x₁(C) и x₂(C) такие, что

f (x₁(C)) - f(x₂(C)) > ½ δ(f, C).   (21)

Построим F_1n и F_2n следующим образом. Пусть F_1n(С) = F_2n(С) = F(С) для любого С из T_n. При этом F_1n имеет в С один атом в точке x₁(C) величиной F(С), а F_2n имеет в С также один атом в точке x₂(C) той же величины F(С). Другими словами, распределение F_1n в С сосредоточено в одной точке, а именно, в x₁(C), а распределение F_2n сосредоточено в x₂(C). Тогда

. (22)

Из (20), (21) и (22) следует, что

.

Остается показать, что для последовательностей функций распределения F_1n и F_2n выполнено (10). Пусть х – точка непрерывности F. Пусть

y₁(x, T) = max{y_kn: y_kn < x}, y₂(x, T) = min{ y_kn: y_kn > x},

где y_kn – точки, определяющие разбиения T_n согласно (12). В соответствии с определением F_in

F_in(y_j(x, T_n))= F(y_j(x, T_n)), i = 1, 2, j = 1, 2,

а потому

F_in(x) – F(x) < F(y₂(x, T_n)) - F(y₁(x, T_n)), i = 1, 2.

В силу условия max(y_kn – y_(k-1)n) → 0 и непрерывности F в точке x правая часть последнего соотношения стремится к 0 при n → ∞, что и заканчивает доказательство теоремы 2.

Теоремы 1 и 2 демонстрируют основные идеи предельной теории статистик интегрального типа и непараметрических критериев в целом. Как показывают эти теоремы, основную роль в рассматриваемой теории играет предельное соотношение (14). Отметим, что если δ(f, T_n) → 0 при n → ∞, то (14) справедливо, но, вообще говоря, не наоборот. Естественно возникает еще ряд постановок. Пусть (14) выполнено для f₁ и f₂. При каких функциях h это соотношение выполнено для h(x, f₁(x), f₂(x))? В прикладной статистике вместо f(x) рассматривают f_α(x, ω) и f(x, ω), а вместо интегрирования по функциям распределения F_n(x) – интегрирование по случайным мерам F_α(ω). Как меняются формулировки в связи с такой заменой? В связи со слабой сходимостью (т.е. сходимостью по распределению) A_Tf_α к A_T и переходом от f_α(x, ω) к h_α(x, f_1α(x, ω), f_2α(x, ω)) возникает следующая постановка. Пусть κ_α слабо сходится к κ при α→∞. Когда распределения g_α(κ_α) сближаются с распределениями g_α(κ)? Полным ответом на последний вопрос являются необходимые и достаточные условия наследования сходимости. Они приведены в главе 1.4.

Основные результаты. Наиболее общая теорема типа теоремы 1 выглядит так [10].

Теорема 3. Пусть существует последовательность разбиений T_n, n = 1, 2, …, такая, что при n →∞ и α→∞

.    (23)

Пусть для любого С, входящего хотя бы в одно из разбиений T_n,

F_α(C, ω) → F(C)   (24)

при α→∞ (сходимость по вероятности). Пусть f_α асимптотически ограничены по вероятности при α→∞. Тогда

      (25)

при α→∞ (сходимость по вероятности).

Как известно, полное сепарабельное метрическое пространство называется польским. Это понятие понадобится для формулировки аналога теоремы 2.

Теорема 4. Пусть Х – польское пространство, У конечномерно, существует измельчающаяся последовательность T_n разбиений, для которой соотношение (23) не выполнено. Тогда существует удовлетворяющая (24) последовательность F_α, для которой соотношение (25) неверно, хотя F_α слабо сходится к F при α→∞.

Условие (23) естественно назвать условием римановости, поскольку в случае, рассмотренном в теореме 1, оно является условием интегрируемости по Риману-Стилтьесу. Рассмотрим наследуемость римановости при переходе от f_1α(x, ω) со значениями в У₁ и f_2α(x, ω) со значениями в У₂, удовлетворяющих (23), к h_α(x, f_1α(x, ω), f_2α(x, ω)) со значениями в У₃.

Положим

,

где ∙_k – норма (т.е. длина вектора) в пространстве Y_k, k = 1, 2. Рассмотрим также множества

и функции

.

Наконец, понадобится измеритель колеблемости

и множество

.

Теорема 5. Пусть h_α асимптотически (при α→∞) ограничены на Z(a) при любом положительном a, функции f_1α и f_2α асимптотически ограничены по вероятности и удовлетворяют условию (23). Пусть для участвующей в (23) последовательности T_n

c(h_α, T_n, a, ε) → 0 (26)

при α→∞, n→∞, ε→ 0 и любом положительном a. Тогда f_3α(x, ω) = h_α(x, f_1α(x, ω), f_2α(x, ω)) удовлетворяют условию (23) и асимптотически ограничены по вероятности.

Теорема 6. Пусть условие (26) не выполнено для h_α. Тогда существуют детерминированные ограниченные функции f_1α и f_2α такие, что соотношение (23) выполнено для f_1α и f_2α и не выполнено для f_3α.

Пример 3. Пусть X = [0; 1]^k, пространства Y₁ и Y₂ конечномерны, функция h_α ≡ h(x, y₁, y₂) непрерывна. Тогда условие (26) выполнено.

С помощью теорем 3 и 5 и результатов о наследовании сходимости можно изучить асимптотическое поведение статистик интегрального типа

со значениями в банаховом пространстве У.

Теорема 7. Пусть для некоторой последовательности T_n разбиений Х справедливы соотношения (23) для f_1α и f_2α и (24) для F_α. Пусть последовательность функций h_α удовлетворяет условию в теореме 5, конечномерные распределения (f_1α(x, ω), f_2α(x, ω)) слабо сходятся к конечномерным распределениям (f₁(x, ω), f₂(x, ω)), причем для f₁ и f₂ справедливо соотношение (23). Тогда

,

где L – расстояние Прохорова (см. подраздел 1.4.3),

.

Теорема 7 дает общий метод получения асимптотических распределений статистик интегрального типа. Важно, что соотношение (23) выполнено для эмпирического процесса и для процессов, связанных с оцениванием параметров при проверке согласия [9].

Один из выводов общей теории состоит в том, что в качестве F_α можно использовать практически любую состоятельную оценку истинной функции распределения. Этот вывод использовался при построении критерия типа омега-квадрат для проверки симметрии распределения относительно 0 и обнаружения различий в связанных выборках (глава 3.1).

Асимптотическое поведение критериев типа Колмогорова может быть получено с помощью описанного выше метода аппроксимации ступенчатыми функциями. Этот метод не требует обращения к теории сходимости вероятностных мер в функциональных пространствах. Для критериев Колмогорова и Смирнова достаточно использовать лишь свойства эмпирического процесса и броуновского моста. В случае проверки согласия добавляется необходимость изучения еще одного  случайного процесса. Он является разностью между двумя функциями распределения. Одна - функция распределения элементов выборки. Вторая - член параметрического семейства распределений, полученный путем подстановки оценок параметров вместо их истинных значений.