Прикладная статистика: Количественные и категоризованные данные

Часть 1. Фундамент прикладной статистики

1.1. Различные виды статистических данных

1.1.1. Количественные и категоризованные данные

Методы прикладной статистики – это методы анализа данных, причем обычно достаточно большого количества данных. Статистические данные могут иметь различную природу. Исторически самыми ранними были два вида данных – сведения о числе объектов, удовлетворяющих тем или иным условиям, и числовые результаты измерений.

Первый из этих видов данных до сих пор главенствует в статистических сборниках Госкомстата РФ. Такого рода данные часто называют категоризованными, поскольку о каждом из рассматриваемых объектов известно, в какую из нескольких заранее заданных категорий он попадает. Примером является информация Госкомстата РФ о населении страны, с разделением по возрастным категориям и полу. Часто при составлении таблиц жертвуют информацией, заменяя точное значение измеряемой величины на указание интервала группировки, в которую это значение попадает. Например, вместо точного возраста человека используют лишь один из указанных в таблице возрастных интервалов.

Второй наиболее распространенный вид данных – количественные данные, рассматриваемые как действительные числа. Таковы результаты измерений, наблюдений, испытаний, опытов, анализов. Количественные данные обычно описываются набором чисел (выборкой), а не таблицей.

Нельзя утверждать, что категоризованные данные соответствуют первому этапу исследования, а числовые – следующему, на котором используются более совершенные методы измерения. Дело в том, что человеку свойственно давать качественные ответы на возникающие в его практической деятельности вопросы. Примером является используемая А.А. Пивнем таблица сильных и слабых сторон внутренней среды Компании (табл.1).

Таблица 1

Оценка сильных и слабых сторон внутренней среды Компании

Показатели Компании	Оценка показателя (По отношению к предприятиям отрасли)							Важность (вес)
	Очень высо-кая	Высо-кая	Средняя	Низкая			Очень низ-кая	Вы-со-кая	Средняя	Низкая
1	2	3	4	5			6	7	8	9
Финансы
1.Оценка структуры активов			Х					Х
2.Инвестиционная привлекательность			Х					Х
3.Доход на активы				Х				Х
4.Норма прибыли						Х		Х
5.Доход на вложенный капитал				Х					Х
Производство
1.Использования оборудования			Х						Х
2.Производственные мощности			Х							Х
3.Численность			Х						Х
4.Система контроля качества		Х						Х
5.Возможность расширения производства			Х					Х
6.Износ оборудования				Х				Х
Организация и управление
1.Численность ИТР и управленческого персонала			Х					Х
2.Скорость реакции управления на изменения во внешней среде			Х					Х
3.Четкость разделения полномочий и функций				Х					Х
4.Качество используемой в управлении информации			Х					Х
5.Гибкость оргструктуры управления		Х						Х
Маркетинг
1.Доля рынка		Х						Х
2.Репутация Компании		Х						Х
3.Престиж торговой марки			Х						Х
4.Стимулирование сбыта		Х						Х
5.Численность сбытового персонала				Х						Х
6.Уровень цен			Х					Х
7.Уровень сервиса		Х						Х
8.Число клиентов		Х							Х
9.Качество поступающей информации			Х						Х
Кадровый состав
1.Уровень квалификации производственного персонала		Х						Х
2.Расходы по подготовке и переподготовке персонала		Х						Х
3.Уровень подготовки сбытового персонала в технической области				Х					Х
Технология
1.Применяемые стандарты		Х								Х
2.Новые продукты			Х						Х
3.Расходы на НИОКР		Х							Х

Ясно, что вполне можно превратить в числа значения признаков, названия которых приведены в столбце «Показатели Компании», однако этот переход будет зависеть от исследователя, носить неизбежный налет субъективизма.

Иногда не удается однозначно отнести данные к категоризованным или количественным. Например, в Ветхом Завете, в Четвертой книге Моисеева «Числа» указывается количество воинов в различных коленах. С одной стороны, это типичные категоризованные данные, градациями служат названия колен. С другой стороны, эти данные можно рассматривать как количественные, как выборку, их вполне естественно складывать, вычислять среднее арифметическое и т.п.

Описанная ситуация типична. Существует весьма много различных видов статистических данных. Это связано, в частности, со способами их получения. Например, если испытания некоторых технических устройств продолжаются до определенного момента, то получаем т.н. цензурированные  данные, состоящие из набора чисел – продолжительности работы ряда устройств до отказа, и информации о том, что остальные устройства продолжали работать в момент окончания испытания. Такого рода данные часто используются при оценке и контроле надежности технических устройств.

Описание вида данных и, при необходимости, механизма их порождения – начало любого статистического исследования.

В простейшем случае статистические данные – это значения некоторого признака, свойственного изучаемым объектам. Значения могут быть количественными или представлять собой указание на категорию, к которой можно отнести объект. Во втором случае говорят о качественном признаке. Используют и более сложные признаки, перечень которых будет расширяться по мере развертывания изложения в учебнике.

При измерении по нескольким количественным или качественным признакам в качестве статистических данных об объекте получаем вектор. Его можно рассматривать как новый вид данных. В таком случае выборка состоит из набора векторов. Есть часть координат – числа, а часть – качественные (категоризованные) данные, то говорим о векторе разнотипных данных.

Одним элементом выборки, т.е. одним измерением, может быть и функция в целом. Например, электрокардиограмма больного или амплитуда биений вала двигателя. Или временной ряд, описывающий динамику показателей определенной фирмы. Тогда выборка состоит из набора функций.

Элементами выборки могут быть и бинарные отношения. Например, при опросах экспертов часто используют упорядочения (ранжировки) объектов экспертизы – образцов продукции, инвестиционных проектов, вариантов управленческих решений. В зависимости от регламента экспертного исследования элементами выборки могут быть различные виды бинарных отношений (упорядочения, разбиения, толерантности), множества, нечеткие множества и т.д.

Итак, математическая природы элементов выборки в различных задачах прикладной статистики может быть самой разной. Однако можно выделить два класса статистических данных – числовые и нечисловые. Соответственно прикладная статистика разбивается на две части – числовую статистику и нечисловую статистику.

Числовые статистические данные – это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы. Математический аппарат анализа сумм случайных элементов выборки – это (классические) законы больших чисел и центральные предельные теоремы (см. главу 1.3).

Нечисловые статистические данные – это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они являются элементами нечисловых математических пространств (множеств). Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия) в таких пространствах. С помощью расстояний определяются эмпирические и теоретические средние, доказываются законы больших чисел, строятся непараметрические оценки плотности распределения вероятностей, решаются задачи диагностики и кластерного анализа, и т.д. (см. главу 3.4).

Сведем информацию об основных областях прикладной статистики в табл.2. Отметим, что модели порождения цензурированных данных входят в состав каждой из рассматриваемых областей.

Таблица 2.

Области прикладной статистики

№ п/п	Вид статистических данных	Область прикладной статистики
1	Числа	Статистика (случайных) величин
2	Конечномерные вектора	Многомерный статистический анализ
3	Функции	Статистика случайных процессов и временных рядов
4	Объекты нечисловой природы	Статистика нечисловых данных (статистика объектов нечисловой природы)