Нечисловая статистика: Инвариантные алгоритмы и средние величины

Глава 3. Статистика нечисловых данных конкретных видов

3.1. Инвариантные алгоритмы и средние величины

Инвариантные алгоритмы и средние величины. Основное требование к алгоритмам анализа данных формулируется в теории измерений (см. главу 1) так: выводы, сделанные на основе данных, измеренных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных. Другими словами, выводы должны быть инвариантны по отношению к допустимым преобразованиям шкалы.

Таким образом, одна из основных целей теории измерений - борьба с субъективизмом исследователя при приписывании численных значений реальным объектам. Так, расстояния можно измерять в аршинах, метрах, микронах, милях, парсеках и других единицах измерения. Массу (вес) - в пудах, килограммах, фунтах и других единицах измерения. Цены на товары и услуги можно указывать в юанях, рублях, тенге, гривнах, латах, кронах, марках, долларах США и иных валютах (при фиксированных курсах пересчета). Подчеркнем очень важное, хотя и вполне очевидное обстоятельство: выбор единиц измерения зависит от конкретного исследователя, или от соглашения, к которому пришла группа лиц, т.е. субъективен. Статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую единицу измерения предпочтет исследователь, т.е. когда они инвариантны относительно допустимого преобразования шкалы.

Оказывается, сформулированное условие является достаточно сильным. Из многих алгоритмов анализа статистических данных ему удовлетворяют лишь некоторые. Покажем это на примере сравнения средних величин.

Пусть Х₁ , Х₂ ,…, Х_n  - выборка объема n. В статистике часто используют выборочное среднее арифметическое

Использование среднего арифметического настолько привычно, что второе слово в термине часто опускают. И говорят о средней зарплате, среднем доходе и других средних для конкретных экономических данных, подразумевая под "средним" среднее арифметическое. Такая традиция может приводить к ошибочным выводам. Покажем это на примере расчета средней заработной платы (среднего дохода) работников условного предприятия (табл.1).

Таблица 1.

Численность работников различных категорий, их заработная плата и суммарные доходы (в условных единицах).

№ п/п	Категория работников	Число ра-ботников	Заработ-ная плата	Суммарные доходы
1	Низкоквалифицирован-ные рабочие	40	100	4000
2	Высококвалифицирован-ные рабочие	30	200	6000
3	Инженеры и служащие	25	300	7500
4	Менеджеры	4	1000	4000
5	Генеральный директор (владелец)	1	18500	18500
6	Всего	100		40000

Первые три строки в табл.1 вряд ли требуют пояснений. Менеджеры - это директора (управляющие) по направлениям. А именно, по производству (главный инженер), по финансам, по маркетингу и сбыту, по персоналу (по кадрам). Владелец сам руководит предприятием в качестве генерального директора. В столбце "заработная плата" указаны доходы одного работника соответствующей категории, а в столбце "суммарные доходы" - доходы всех работников соответствующей категории.

Фонд оплаты труда составляет 40000 условных единиц, работников всего 100, следовательно, средняя заработная плата составляет 40000/100 = 400 единиц. Однако эта средняя арифметическая величина явно не соответствует интуитивному представлению о "средней зарплате". Из 100 работников лишь 5 имеют заработную плату, ее превышающую, а зарплата остальных 95% существенно меньше средней арифметической. Причина очевидна - заработная плата одного человека - генерального директора - превышает заработную плату 95 работников -  низкоквалифицированных и высококвалифицированных рабочих, инженеров и служащих.

Ситуация напоминает ту, что описана в известном рассказе о больнице, в которой 10 больных, из них у 9 температура 40 ⁰С, а один уже отмучился, лежит в морге с температурой 0 ⁰С. Между тем средняя температура по больнице равна 36 ⁰С - лучше не бывает!

Сказанное показывает, что среднее арифметическое можно использовать лишь для достаточно однородных совокупностей (без больших выбросов в ту или иную сторону). А какие виды средни[ величин целесообразно использовать для описания заработной платы? Вполне естественно использовать медиану. Для данных табл.1 медиана - это среднее арифметическое 50-го и 51-го работника, если их заработные платы расположены в порядке неубывания. В вариационном ряду сначала идут зарплаты 40 низкоквалифицированных рабочих, а затем - с 41-го до 70-го работника - заработные платы высококвалифицированных рабочих. Следовательно, медиана попадает именно на них и равна 200. У 50-ти работников заработная плата не превосходит 200, и у 50-ти - не менее 200, поэтому медиана показывает "центр", около которого группируется основная масса исследуемых величин. Еще одна средняя величина - мода, наиболее часто встречающееся значение. В рассматриваемом случае мода - это заработная плата низкоквалифицированных рабочих, т.е. 100 условных единиц. Таким образом, для описания зарплаты имеем три средние величины - моду (100 единиц), медиану (200 единиц) и среднее арифметическое (400 единиц). Для наблюдающихся в реальной жизни распределений доходов и заработной платы справедлива та же закономерность: мода меньше медианы, а медиана меньше среднего арифметического.

Для чего в технических, экономических, медицинских и иных исследованиях используются средние величины? Обычно для того, чтобы заменить совокупность чисел одним числом, чтобы сравнивать совокупности с помощью средних.

Пусть, например, Y₁, Y₂,...,Y_n - совокупность оценок экспертов, "выставленных" одному объекту экспертизы (например, одному из вариантов стратегического развития фирмы), Z₁, Z₂,...,Z_n - второму (другому варианту такого развития). Как сравнивать эти совокупности? Очевидно, самый простой способ - по средним значениям.

А как вычислять средние? Известны различные виды средних величин: среднее арифметическое, медиана, мода, среднее геометрическое, среднее гармоническое, среднее квадратическое. Напомним, что общее понятие средней величины введено французским математиком первой половины ХIХ в. академиком О. Коши. Оно таково: средней величиной является любая функция f(X₁, X₂,...,X_n) такая, что при всех возможных значениях аргументов значение этой функции не меньше, чем минимальное из чисел X₁, X₂,...,X_n, и не больше, чем максимальное из этих чисел. Все перечисленные выше виды средних величин являются средними по Коши.

При допустимом преобразовании шкалы значение средней величины, очевидно, меняется. Но выводы о том, для какой совокупности среднее больше, а для какой - меньше, не должны меняться (в соответствии с требованием инвариантности выводов, принятом как основное требование в теории измерений). Сформулируем соответствующую математическую задачу поиска вида средних величин, результат сравнения которых устойчив относительно допустимых преобразований шкалы.

Пусть f(X₁, X₂,...,X_n) - среднее по  Коши. Пусть среднее по первой совокупности меньше среднего по второй совокупности:

 f(Y₁, Y₂,...,Y_n) <  f(Z₁, Z₂,...,Z_n).  

Тогда согласно теории измерений для устойчивости результата сравнения средних необходимо, чтобы для любого допустимого преобразования g (из группы допустимых преобразований в соответствующей шкале) было справедливо также неравенство

 f(g(Y₁), g(Y₂),...,g(Y_n)) <  f(g(Z₁), g(Z₂),...,g(Z_n)),  

т.е. среднее преобразованных значений из первой совокупности также было меньше среднего преобразованных значений для второй совокупности. Причем сформулированное условие должно быть верно для любых двух совокупностей Y₁, Y₂,...,Y_n и Z₁, Z₂,...,Z_n. И, напомним, для любого допустимого преобразования. Средние величины, удовлетворяющие сформулированному условию, назовем допустимыми (в соответствующей шкале). Согласно теории измерений только допустимыми средними величинами можно пользоваться при анализе мнений экспертов и иных данных, измеренных в рассматриваемой шкале.

С помощью математической теории, развитой в монографии [1], удается описать вид допустимых средних величин в основных шкалах. Сразу ясно, что для данных, измеренных в шкале наименований, в качестве среднего годится только мода.

Средние величины в порядковой шкале. Рассмотрим обработку, для определенности, мнений экспертов, измеренных в порядковой шкале. Справедливо следующее утверждение.

Теорема 1. Из всех средних по Коши допустимыми средними в порядковой шкале являются только члены вариационного ряда (порядковые статистики).

Теорема 1 справедлива при условии, что среднее f(X₁, X₂,...,X_n) является непрерывной (по совокупности переменных) и симметрической функцией. Последнее означает, что при перестановке аргументов значение функции f(X₁, X₂,...,X_n) не меняется. Это условие является вполне естественным, ибо среднюю величину мы находим для совокупности (множества), а не для последовательности. Множество не меняется в зависимости от того, в какой последовательности мы перечисляем его элементы.

Согласно теореме 1 в качестве среднего для данных, измеренных в порядковой шкале, можно использовать, в частности, медиану (при нечетном объеме выборки). При четном же объеме следует применять один из двух центральных членов вариационного ряда - как их иногда называют, левую медиану или правую медиану. Моду тоже можно использовать - она всегда является членом вариационного ряда. Можно применять выборочные квартили, минимум и максимум, децили и т.п. Но никогда нельзя рассчитывать среднее арифметическое, среднее геометрическое и т.д.

Приведем численный пример, показывающий некорректность использования среднего арифметического f(X₁, X₂) = (X₁ + X₂)/2 в порядковой шкале. Пусть Y₁= 1, Y₂ = 11, Z₁= 6, Z₂= 8. Тогда f(Y₁, Y₂) = 6, что меньше, чем f(Z₁, Z₂) = 7. Пусть строго возрастающее преобразование g таково, что g(1) = 1, g(6) = 6, g(8) = 8, g(11) = 99. Таких преобразований много. Например, можно положить g(x) = x при x, не превосходящих 8, и g(x) = 99(x-8)/3 + 8 для х, больших 8. Тогда f(g(Y₁), g(Y₂)) = 50, что больше, чем f(g(Z₁), g(Z₂)) = 7. Как видим, в результате допустимого, т.е. строго возрастающего преобразования шкалы упорядоченность средних величин изменилась.

Таким образом, теория измерений выносит жесткий приговор среднему арифметическому - использовать его в порядковой шкале нельзя. Однако же те, кто не знает теории измерений, используют его. Всегда ли они ошибаются? Оказывается, можно в какой-то мере (но отнюдь не полностью!) реабилитировать среднее арифметическое, если перейти к вероятностной постановке и к тому же удовлетвориться результатами для больших объемов выборок. В монографии [1] получено также следующее утверждение.

Теорема 2. Пусть Y₁, Y₂, ... , Y_m - независимые одинаково распределенные случайные величины с функцией распределения F(x), а Z₁, Z₂, ... , Z_n - независимые одинаково распределенные случайные величины с функцией распределения H(x), причем выборки Y₁, Y₂, ... , Y_m и Z₁, Z₂, ... , Z_n независимы между собой и МY₁ > MZ₁ . Для того, чтобы вероятность события

стремилась к 1 при  для любой строго возрастающей непрерывной функции g, удовлетворяющей условию

необходимо и достаточно, чтобы при всех x выполнялось неравенство F(x)<H(x), причем существовало число x₀, для которого F(x₀)<H(x₀).

Примечание. Условие с верхним пределом носит чисто внутриматематический характер. Фактически функция g - произвольное допустимое преобразование в порядковой шкале.

Согласно теореме 2 средним арифметическим можно пользоваться и в порядковой шкале, если сравниваются выборки из двух распределений, удовлетворяющих приведенному в теореме неравенству. Проще говоря, одна из функций распределения должна всегда лежать над другой. Функции распределения не могут пересекаться, им разрешается только касаться друг друга. Это условие выполнено, например, если функции распределения отличаются только сдвигом, т.е.

F(x) = H(x+b)

при некотором b. Последнее условие выполняется, если два значения некоторой величины измеряются с помощью одного и того же средства измерения, у которого распределение погрешностей не меняется при переходе от измерения одного значения рассматриваемой величины к измерению другого.

Средние по Колмогорову. Естественная система аксиом (требований к средним величинам) приводит к так называемым ассоциативным средним. Их общий вид нашел в 1930 г. А.Н.Колмогоров [2]. Теперь их называют «средними по Колмогорову».

Для чисел X₁, X₂,...,X_n среднее по Колмогорову вычисляется по формуле

G{(F(X₁) + F(X₂) +...+ F(X_n))/n},

где F  - строго монотонная  функция (т.е. строго возрастающая или строго убывающая), G - функция, обратная к F. Среди средних по Колмогорову - много хорошо известных персонажей. Так, если F(x) = x, то среднее по Колмогорову - это среднее арифметическое, если F(x) = ln x, то среднее геометрическое, если F(x) = 1/x, то среднее гармоническое, если F(x) = x², то среднее квадратическое, и т.д. (в последних трех случаях усредняются положительные величины).    Среднее по Колмогорову - частный случай среднего по Коши. С другой стороны, такие популярные средние, как медиана и мода, нельзя представить в виде средних по Колмогорову. В монографии [1] доказаны следующие утверждения.

Теорема 3. При справедливости некоторых внутриматематических условий регулярности в шкале интервалов из всех средних п  Колмогоров допустимым является только среднее арифметическое.

Таким образом, среднее геометрическое или среднее квадратическое температур (в шкале Цельсия), потенциальных энергий или координат точек не имеют смысла. В качестве среднего надо применять среднее арифметическое. А также можно использовать медиану или моду.

Теорема 4. При справедливости некоторых внутриматематических условий регулярности в шкале отношений из всех средних по Колмогорову допустимыми являются только степенные средние с F(x) = x^с ,  и среднее геометрическое.

Есть ли средние по Колмогорову, которыми нельзя пользоваться в шкале отношений? Конечно, есть. Например, с F(x) = e^x.

Замечание 1. Среднее геометрическое является пределом степенных средних при  

Замечание 2. Подробное описание «внутриматематических условий регулярности», упомянутых в формулировках теорем 3 и 4, можно найти в [1, 3].

Аналогично средним величинам могут быть изучены и другие статистические характеристики - показатели разброса, связи, расстояния и др. (см., например, [1]). Нетрудно показать, например, что коэффициент корреляции не меняется при любом допустимом преобразовании в шкале интервалов, как и отношение дисперсий. Дисперсия не меняется в шкале разностей, коэффициент вариации - в шкале отношений, и т.д.

Приведенные выше результаты о средних величинах широко применяются, причем не только в экономике, менеджменте, теории экспертных оценок или социологии, но и в инженерном деле, например, для анализа методов агрегирования датчиков в АСУ ТП доменных печей. Велико прикладное значение теории измерений в задачах стандартизации и управления качеством, в частности, в квалиметрии. Здесь есть и интересные теоретические результаты. Так, например, любое изменение коэффициентов весомости единичных показателей качества продукции приводит к изменению упорядочения изделий по средневзвешенному показателю (эта теорема доказана проф. В.В. Подиновским).

При подготовке и принятии решений необходимо использовать только инвариантные алгоритмы обработки данных. В настоящем подразделе показано, что требование инвариантности выделяет из многих алгоритмов усреднения лишь некоторые, соответствующие используемым шкалам измерения. Инвариантные алгоритмы в общем случае рассматриваются в математической теории измерений [4]. Нацеленное на прикладные исследования изложение теории измерений дается в монографиях [1, 5, 6].