Теория принятия решений: Интервальные данные в задачах оценивания характеристик распределения

2.3.3. Интервальные данные в задачах оценивания характеристик распределения

 Поясним теоретические концепции статистики интервальных данных на простых примерах.

Пример 1. Оценивание математического ожидания. Пусть необходимо оценить математическое ожидание случайной величины с помощью обычной оценки - среднего арифметического результатов наблюдений, т.е.

Тогда при справедливости ограничений (1) на абсолютные погрешности имеем  Таким образом, нотна полностью известна и не зависит от многомерной точки, в которой берется. Вполне естественно: если каждый результат наблюдения известен с точностью до , то и среднее арифметическое известно с той же точностью. Ведь возможна систематическая ошибка - если к каждому результату наблюдению добавить , то и среднее арифметическое увеличится на .

 Поскольку

то в обозначениях предыдущего пункта

Следовательно, рациональный объем выборки равен

 Для практического использования полученной формулы надо оценить дисперсию результатов наблюдений. Можно доказать, что, поскольку мало, это можно сделать обычным способом, например, с помощью несмещенной выборочной оценки дисперсии

Здесь и далее рассуждения часто идут на двух уровнях. Первый - это уровень "истинных" случайных величин, обозначаемых "х", описывающих реальность, но неизвестных специалисту по анализу данных. Второй - уровень известных этому специалисту величин "у", отличающихся погрешностями от истинных. Погрешности малы, поэтому функции от х отличаются от функций от у на некоторые бесконечно малые величины. Эти соображения и позволяют использовать s²(y) как оценку D(x₁).

 Итак, выборочной оценкой рационального объема выборки является

 Уже на этом первом рассматриваемом примере видим, что рациональный объем выборки находится не где-то вдали, а непосредственно рядом с теми объемами, с которыми имеет дело любой практически работающий статистик. Например, если статистик знает, что  то n_rat = 36. А именно такова погрешность контрольных шаблонов во многих технологических процессах! Поэтому, занимаясь управлением качеством, необходимо обращать внимание на действующую на предприятии систему измерений.

 По сравнению с классической математической статистикой доверительный интервал для математического ожидания (для заданной доверительной вероятности ) имеет другой вид:

 (4)

где - квантиль порядка (1+ )/2 стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1..

По поводу формулы (4) была довольно жаркая дискуссия среди специалистов. Отмечалось, что она получена на основе Центральной Предельной Теоремы теории вероятностей и может быть использована при любом распределении результатов наблюдений (с конечной дисперсией). Если же имеется дополнительная информация, то, по мнению отдельных специалистов, формула (4) может быть уточнена. Например, если известно, что распределение x_i является нормальным, в качестве u( ) целесообразно использовать квантиль распределения Стьюдента. К этому надо добавить, что по небольшому числу наблюдений нельзя надежно установить нормальность, а при росте объема выборки квантили распределения Стьюдента приближаются к квантилям нормального распределения. Вопрос о том, часто ли результаты наблюдений имеют нормальное распределение, подробно обсуждался среди специалистов. Выяснилось, что распределения встречающихся в практических задачах результатов измерений почти всегда отличны от нормальных [25]. А также и от распределений из иных параметрических семейств, описываемых в учебниках.

Применительно к оцениванию математического ожидания (но не к оцениванию других характеристик или параметров распределения) факт существования границы возможной точности, определяемой точностью исходных данных, не0днократно отмечался в литературе ([26, с.230-234], [31, с.121] и др.).

Пример 2. Оценивание дисперсии. Для статистики f(y) = s²(y), где s²(y) - выборочная дисперсия (несмещенная оценка теоретической дисперсии), при справедливости ограничений (1) на абсолютные погрешности имеем

Можно показать, что нотна N_f(y) сходится к

по вероятности с точностью до , когда n стремится к бесконечности. Это же предельное соотношение верно и для нотны N_f(х), вычисленной для исходных данных. Таким образом, в данном случае справедлива формула (2) с

Известно, что случайная величина

является асимптотически нормальной с математическим ожиданием 0 и дисперсией  

 Из сказанного вытекает, что в статистике интервальных данных асимптотический доверительный интервал для дисперсии  (соответствующий доверительной вероятности ) имеет вид

где

где обозначает тот же самый квантиль стандартного нормального распределения, что и выше в случае оценивания математического ожидания.

Рациональный объем выборки при оценивании дисперсии равен

а выборочную оценку рационального объема выборки  можно вычислить, заменяя теоретические моменты на соответствующие выборочные и используя доступные статистику результаты наблюдений, содержащие погрешности.

 Что можно сказать о численной величине рационального объема выборки? Как и в случае оценивания математического ожидания, она отнюдь не выходит за пределы обычно используемых объемов выборок. Так, если распределение результатов наблюдений  является нормальным с математическим ожиданием 0 и дисперсией , то в результате вычисления моментов случайных величин в предыдущей формуле получаем, что

где  - отношение длины окружности к диаметру,  Например, если  то  Это меньше, чем при оценивании математического ожидания в предыдущем примере.

 Пример 3. Аддитивные статистики. Пусть  - некоторая непрерывная функция. Аддитивные статистики имеют вид

Тогда

по вероятности при если математические ожидания в правых частях двух последних соотношений существуют. Применяя рассмотренные выше общие соображения, получаем, что при малых фиксированных  и  и достаточно больших n значения f(y) могут принимать любые величины из разрешенных (например, записываемых заданным числом значащих цифр) в замкнутом интервале

 (5)

при ограничениях (1) на абсолютные ошибки и в замкнутом интервале

…(6)

при ограничениях на относительные погрешности результатов наблюдений. Обратим внимание, что длины этих интервалов независимы от объема выборки, в частности, не стремятся к 0 при его росте.

 К каким последствиям это приводит в задачах статистического оценивания? Поскольку для статистик аддитивного типа

 (7)

по вероятности при  если математическое ожидание в правой части формулы (7) существует, то аддитивную статистику f(x) естественно рассматривать как непараметрическую оценку этого математического ожидания. Термин «непараметрическая» означает, что не делается предположений о принадлежности функции распределения выборки к тому или иному параметрическому семейству распределения. Распределение статистики f(x) зависит от распределения результатов наблюдений. Однако для любого распределения результатов наблюдений с конечной дисперсией статистика f(x) является состоятельной и асимптотически нормальной оценкой для математического ожидания, указанного в правой части формулы (7).

 Как известно, в рамках классической математической статистики в предположении существования ненулевой дисперсии Dg(x₁) в силу асимптотической нормальности аддитивной статистики f(x) асимптотический доверительный интервал, соответствующий доверительной вероятности , имеет вид

где s(g(x)) – выборочное среднее квадратическое отклонение, построенное по g(x₁), g(x₂),…, g(x_n), а - квантиль стандартного нормального распределения порядка

 В рассматриваемой модели порождения интервальных данных вместо f(x) необходимо использовать f(y), а вместо g(x_i) – соответственно g(y_i), i-1,2,…,n. При этом доверительный интервал необходимо расширить с учетом формул (5) и (6).

 В соответствии с проведенными рассуждениями для аддитивных статистик асимптотическая нотна имеет вид

при ограничениях (1) на абсолютную погрешность и

при ограничениях на относительную погрешность. В первом случае нотна является обобщением понятия предельной абсолютной систематической ошибки, во втором – предельной относительной систематической ошибки. Отметим, что, как и в примерах 1 и 2, асимптотическая нотна не зависит от точки, в которой вычисляется. Таким образом, она является константой для конкретного метода статистического анализа данных.

 Поскольку n велико, а  и  малы, то можно пренебречь отличием выборочного среднего квадратического отклонения s(g(y)), вычисленного по выборке преобразованных значений , от выборочного среднего квадратического отклонения s(g(x)), построенного по выборке  Разность этих двух величин является бесконечно малой, они приближаются к одной и той же положительной константе.

 В статистике интервальных данных выборочный доверительный интервал для Mg(x₁) имеет вид

В асимптотике его длина такова:

 (8)

где  - дисперсия g(x₁), в то время как в классической теории математической статистики имеется только второе слагаемое. Соотношение (8) – аналог суммарной ошибки у метрологов [26]. Поскольку первое слагаемое положительно, то оценивание Mg(x₁) с помощью f(y) не является состоятельным.

 Для аддитивных статистик при больших n максимум (по возможным погрешностям) среднего квадрата отклонения оценки имеет вид

 (9)

с точностью до членов более высокого порядка. Исходя из принципа уравнивания погрешностей в общей схеме устойчивости [3], нецелесообразно второе слагаемое в (9) делать меньше первого за счет увеличения объема выборки n. Рациональный объем выборки, т.е. тот объем, при котором равны погрешности оценивания (или проверки гипотез), вызванные погрешностями исходных данных, и статистические погрешности, рассчитанные по обычным правилам математической статистики (при ), для аддитивных статистик согласно (9) имеет вид

 (10)

 В качестве примера рассмотрим экспоненциально распределенные результаты наблюдений  Оцениваем математическое ожидание с помощью выборочного среднего арифметического при ограничениях на относительную погрешность. Тогда согласно формуле (10)

В частности, если относительная погрешность измерений =10%, то рациональный объем выборки равен 100. Формуле (10) соответствует также рассмотренный выше пример 1.

 Пример 4. Оценивание медианы распределения с помощью выборочной медианы. Хотя нельзя выделить главный линейный член из-за недифференцируемости функции f(x), выражающей выборочную медиану через элементы выборки, непосредственно из определения нотны следует, что при ограничениях на абсолютные погрешности

,

а при ограничениях на относительные погрешности

с точностью до бесконечно малых более высокого порядка, где  - теоретическая медиана. Доверительный интервал для медианы имеет вид

,

где  - доверительный интервал для медианы, вычисленный по классическим правилам непараметрической статистики [27]. Для нахождения рационального объема выборки можно использовать асимптотическую дисперсию выборочной медианы. Она, как известно (см., например, [28, с.178]), равна

где  - плотность распределения результатов измерений в точке . Следовательно, рациональный объем выборки имеет вид

при ограничениях на абсолютные и относительные погрешности результатов измерений соответственно. Для практического использования этих формул следует оценить плотность распределения результатов измерений в одной точке - теоретической медиане. Это можно сделать с помощью тех или иных непараметрических оценок плотности [27].

 Если результаты наблюдений имеют стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1, то

В этом случае рациональный объем выборки в  раз больше, чем для оценивания математического ожидания (пример 1 выше). Однако для других распределений рассматриваемое соотношение объемов может быть иным, в частности, меньше 1. Как вытекает из статьи А.Н.Колмогорова 1931 г. [29], рассматриваемое соотношение объемов может принимать любое значение между 0 и3.

 Пример 5. Оценивание коэффициента вариации. Рассмотрим выборочный коэффициент вариации

Как нетрудно подсчитать,

В случае ограничений на относительную погрешность

На основе этого предельного соотношения и формулы для асимптотической дисперсии выборочного коэффициента вариации, приведенной в [27], могут быть найдены по описанной выше схеме доверительные границы для теоретического коэффициента вариации и рациональный объем выборки.

 Замечание. Отметим, что формулы для рационального объема выборки получены на основе асимптотической теории, а применяются для получения конечных объемов – 36 и 100 в примерах 1-3. Как всегда при использовании асимптотических результатов математической статистики, необходимы дополнительные исследования для изучения точности асимптотических формул при конечных объемах выборок.