РЕПРЕЗЕНТАТИВНАЯ ТЕОРИЯ ИЗМЕРЕНИЙ И ЕЕ ПРИМЕНЕНИЯ
Репрезентативная теория измерений (РТИ) согласно принятой в обзоре [1] классификации научных направлений является одной из составных частей статистики объектов нечисловой природы. Основные понятия этой теории и некоторые ее применения рассматривались в обзорах [1, 2], в которых приведено также большое количество ссылок на публикации по этой тематике. Нас РТИ интересует прежде всего в связи с развитием теории и практики экспертного оценивания, в частности, в связи с агрегированием мнений экспертов, построением обобщенных показателей и рейтингов, поэтому в обзоре [3] и указанной там литературе проблемам РТИ уделяется большое внимание.
Мнения экспертов часто выражены в порядковой шкале, т. е. эксперт может сказать (и обосновать), что один показатель качества продукции более важен, чем другой, первый технологический объект более опасен, чем второй, и т. д. , но не в состоянии сказать, во сколько раз или на сколько более важен, соответственно, более опасен. Экспертов часто просят дать ранжировку объектов экспертизы, т. е. расположить их в порядке возрастания (или убывания) интенсивности интересующей организаторов экспертизы характеристики. Формально ранги выражаются числами 1, 2, 3, .... , но с этими числами нельзя делать привычные арифметические операции. Например, хотя 1 + 2 = 3, но нельзя утверждать, что для объекта, стоящем на третьем месте в упорядочении, интенсивность изучаемой характеристики равна сумме интенсивностей объектов с рангами 1 и 2. Так, один из видов экспертного оценивания - отметки учащихся, и вряд ли кто-либо будет утверждать, что знания отличника равны сум ме знаний двоечника и троечника (хотя 5 = 2 + 3), хорошист соответствует двум двоечникам (2+2 = 4), а между отличником и троечником такая же разница, как между хорошистом и двоечником (5 - 3 = 4 - 2). Поэтому очевидно, что для анализа подобного рода качественных данных необходима теория, дающая базу для разработки, изучения и применения конкретных методов расчета. Это и есть РТИ.
В настоящее время термин "теория измерений" применяется для обозначения классической метрологии, РТИ (книга И. Пфанцагля [4] неосторожно названа "Теория измерений"), некоторых других направлений, например, алгоритмической теории измерений [5]. Иногда это многообразие смыслов одного и того же термина "теория измерений" вызывает ненужные споры. Поэтому весьма уместна опубликованная в настоящем номере "Заводской лаборатории" статья Ю. Н. Толстовой [6], посвященная истории РТИ (в [6], в частности, разъяснен термин "репрезентативная"). Однако она написана доктором социологических наук, и целесообразно увязать ее содержание с привычными для читателей "Заводской лаборатории" задачами, показать пользу РТИ, а также раскрыть наш взгляд на историю и содержание РТИ, несколько отличающийся от представленного в статье [6]. О развитии РТИ в СССР
Сначала эта теория развивалась как теория психофизических измерений. Основоположник РТИ С. С. Стивенс основное внимание уделял шкалам измерения [7]. Характерно, что следующий сборник назывался "Психологические измерения", т. е. расширял сферу применения РТИ, а в основной статье [8] в этом сборнике под названием, обратите внимание, "Основы теории измерений", упор сделан на гомоморфизмах эмпирических систем с отношениями в числовые, в связи с чем математическая сложность изложения возросла.
В одной из первых отечественных работ по РТИ [9] было установлено, что баллы, присваиваемые экспертами при оценке, как правило, измерены в порядковой шкале. Отечественные работы, появившиеся в начале 70-х годов, привели к расширению области применения РТИ: Г. А. Сатаров [10] применял теорию измерений к педагогической квалиметрии, В. Б. Кузьмин и С. В. Овчинников [11] - в системных исследованиях, мы [12] - в теории экспертных оценок и для агрегирования показателей качества, Ю. Н. Толстова [13, 14] - в социологических исследованиях, и др.
Перевод книги И. Пфанцагля [4] символизирует окончательное оформление научного направления, отказ от ограничений на области применения. Одновременно нельзя не обратить внимание на крайнюю математизированность этой книги, сочетающуюся со сравнительно слабым вниманием к вопросам применения РТИ. Наблюдаем типичную картину развития математической дисциплины, которую мы обсуждали в [15] применительно к математической статистике: для решения прикладных задач создается математизированная теория, которая затем развивается как часть математики, при этом вопросы приложений игнорируются. Примеры подобного развития приведены и в заключительной части статьи Ю. Н. Толстовой [6]. Отметим также, что в [6] указаны и связи РТИ с иными разделами статистики объектов нечисловой природы, в частности, с многомерным шкалированием. Мы сочли необходимым попытаться переломить эту тенденцию, уводящую РТИ от интересов практики. Для этого мы сочли полезным вернуться к первоначальной трактовки РТИ С. С. Стивенсом как науки о шкалах измерения, а в качестве двух основных задач наряду с установлением типа шкалы выдвинуть поиск алгоритмов анализа данных, результат работы которых не меняется при любом допустимом преобразовании шкалы (т. е. является инвариантным относительно этого преобразования). Такой принципиальный поворот был выражен в названии статьи "Прикладная теория измерений" [16], в котором термин "прикладная" означал принципиальный отказ от ориентации на внутриматематические исследования (сравните термины "прикладная статистика" и "математическая статистика"). Затем рассматриваемый подход к РТИ был отражен в ряде монографий [17-20]. В 80-90-е годы основные идеи РТИ нашли отражение на страницах справочных [21] и научно-популярных изданий [22, 23], стали включаться в учебные курсы. Однако барьер непонимания между специалистами по РТИ и классическими метрологами все еще остается. На снижение этого барьера и нацелены статья Ю. Н. Толстовой [6] и настоящая статья. Основные шкалы измерения
В соответствии с РТИ при математическом моделировании реального явления или процесса следует прежде всего установить, в каких типах шкал измерены те или иные переменные. Тип шкалы задает группу допустимых преобразований. Укажем основные виды шкал измерения и соответствующие группы допустимых преобразований. В шкале наименований (номинальной) допустимыми являются все взаимно-однозначные преобразования (т. е. числа используются лишь как метки, например, номера телефонов), в порядковой - все строго возрастающие преобразования, в шкале интервалов - линейные возрастающие преобразования, в шкале отношений - подобные (изменяющие только масштаб) преобразования, а для абсолютной шкалы допустимым является только тождественное преобразование. Установление типа шкалы, т. е. задания группы допустимых преобразований шкалы измерения - дело специалиста соответствующей прикладной области. Так, оценки привлекательности профессий мы считали измеренными в порядковой шкале [17]. Однако отдельные социологи не соглашались с этим, считая, что выпускники школ пользуются шкалой с более узкой группой допустимых преобразований, например, интервальной шкалой. Очевидно, эта проблема относится не к математике, а к наукам о человеке. Для ее решения может быть поставлен эксперимент (достаточно трудоемкий), описанный в работе [24]. Пока же он не поставлен, целесообразно принимать порядковую шкалу, так как это гарантирует от возможных ошибок. Оценки экспертов, как уже отмечалось, часто следует считать измеренными в порядковой шкале. Типичным примером являются задачи ранжирования и классификации промышленных объектов, подлежащих экологическому страхованию [25]. Почему мнения экспертов естественно выражать именно в порядковой шкале? "Как показали многочисленные опыты, человек более правильно ( и с меньшими затруднениями) отвечает на вопросы качественного например, сравнительного, характера, чем количественного. Так, ему легче сказать, какая из двух гирь тяжелее, чем указать их примерный вес в граммах" [19, с. 3]. "Другими известными примерами порядковых шкал являются: в медицине - шкала стадий гипертонической болезни по Мясникову, шкала степеней сердечной недостаточности по Стражеско-Василенко-Лангу, шкала степени выраженности коронарной недостаточности по Фогельсону; в минералогии - шкала Мооса (тальк - 1, гипс 2, кальций - 3, флюорит - 4, апатит - 5, ортоклаз - 6, кварц - 7, топаз - 8, корунд - 9, алмаз - 10), по которому минералы классифицируются согласно критерию твердости; в географии - бофортова шкала ветров ("штиль", "слабый ветер", "умеренный ветер" и т. д. ” [21, с. 329]. При оценке качества продукции и услуг, в квалиметрии популярны порядковые шкалы [26]. Порядковая шкала используется и в иных областях (см. , например, [27, 28]).
Порядковая шкала и шкала наименований - шкалы качественных признаков. Поэтому результаты качественного анализа во многих областях можно рассматривать как измеренные по этим шкалам.
Шкалы качественных признаков - это шкалы интервалов, отношений, разностей, абсолютная. По шкале интервалов измеряют величину потенциальной энергии или координату точки на прямой, на которой не отмечены ни начало, ни единица измерения; по шкале отношений - большинство физических единиц: массу тела, длину, заряд, а также цены в экономике. Время измеряется по шкале разностей, если год принимаем естественной единицей измерения, и по шкале интервалов в общем случае. В процессе развития соответствующей области знания тип шкалы может меняться. Так, сначала температура измерялась по порядковой шкале (холоднее - теплее), затем - по интервальной (шкалы Цельсия, Фаренгейта, Реомюра) и, наконец, после открытия абсолютного нуля температур - по шкале отношений (шкала Кельвина) [22]. Следует отметить, что среди специалистов иногда имеются разногласия по поводу того, по каким шкалам следует считать измеренными те или иные реальные величины [37, 39, 40, 63, 89]. Как справедливо отмечает Ю. Н. Толстова [6], могут оказаться полезными и иные шкалы, иные конструкции РТИ. Инвариантные алгоритмы и средние величины
Основное требование к алгоритмам анализа данных формулируется в РТИ так: выводы на основе данных, измеренных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных (другими словами, выводы должны быть инвариантны по отношению к допустимым преобразованиям шкалы). Таким образом, цель теории измерений - борьба с субъективизмом исследователя при приписывании численных значений реальным объектам. Так, расстояния можно измерять в метрах, микронах, милях, парсеках и других единицах измерения. Выбор единиц измерения зависит от исследователя, т. е. субъективен. Статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую единицу измерения предпочтет исследователь, т. е. когда они инвариантны относительно допустимого преобразования шкалы.
В качестве примера рассмотрим обработку мнений экспертов, измеренных в порядковой шкале. Пусть Y1, Y2, ...., Yn - совокупность оценок экспертов, "выставленных" одному объекту экспертизы, Z1, Z2, ...., Zn - второму. Как сравнивать эти совокупности? Самое простое - по средним значениям. А как вычислять средние? Известны различные виды средних величин: среднее арифметическое, медиана, мода, среднее геометрическое, среднее гармоническое, среднее квадратическое. Обобщением нескольких из перечисленных является среднее по Колмогорову [29]. Для чисел X1, X2, ...., Xn среднее по Колмогорову вычисляется по формуле G{(F(X1)+F(X2)+.... F(Xn))/n}, где F - строго монотонная функция, G функция, обратная к F. Если F(x) = x, то среднее по Колмогорову - это среднее арифметическое, если F(x) = ln x, то среднее геометрическое, если F(x) = 1/x, то среднее гармоническое, и т. д. Медиану и моду нельзя представить в виде средних по Колмогорову.
Общее понятие среднего (по Коши) таково: средней величиной является любая функция f(X1, X2, ....Xn) такая, что при всех возможных значениях аргументов значение этой функции не меньше, чем минимальное из чисел X1, X2, ....Xn , и не больше, чем максимальное из этих чисел.
При допустимом преобразовании шкалы значение средней величины, очевидно, меняется. Но выводы о том, для какой совокупности среднее больше, а для какой меньше, не должны меняться (в соответствии с требованием инвариантности выводов, принятом в РТИ) . Сформулируем соответствующую математическую задачу поиска вида средних величин, результат сравнения которых устойчив относительно допустимых преобразований шкалы. Пусть f(X1, X2, ...., Xn) - среднее по Коши. Пусть f(Y1, Y2, ...., Yn)
Тогда для устойчивости результата сравнения средних необходимо, чтобы для любого допустимого преобразования g из группы допустимых преобразований соответствующей шкалы было справедливо также неравенство
f(g(Y1), g(Y2), ...., g(Yn))
С помощью развитой нами математической теории удается описать вид допустимых средних в основных шкалах:
из всех средних по Коши в порядковой шкале в качестве средних можно использовать только члены вариационного ряда (порядковые статистики), в частности, медиану, но не среднее арифметическое, среднее геометрическое и т. д. ;
в шкала интервалов из всех средних по Колмогорову можно применять только среднее арифметическое;
в шкале отношений из всех средних по Колмогорову устойчивыми относительно сравнения являются только степенные средние и среднее геометрическое). Доказательство первого из этих утверждений приведено в [12, 16, 17], второго и третьего - в [16, 17, 30], причем в [30] дано обобщение на случай взвешенных средних и несколько обобщены математические "условия регулярности", при справедливости которых верны рассматриваемые утверждения.
Приведем численный пример, показывающий некорректность использования среднего арифметического f(X1, X2) = (X1+X2)/2 в порядковой шкале. Пусть Y1= 1, Y2 = 11, Z1 = 6, Z2 = 8. Тогда f(Y1, Y2) = 6, что меньше, чем f(Z1, Z2) = 7. Пусть строго возрастающее преобразование g таково, что g(1) = 1, g(6) = 6, g(8) = 8, g (11) = 99. Тогда f(g(Y1), g(Y2)) = 50, что больше, чем f(g(Z1), g(Z2)) = 7. В результате преобразования шкалы упорядоченность средних изменилась. Кроме расчета средних, аналогичные задачи рассмотрены для других алгоритмов статистического анализа данных, в частности, связанных с расстояниями [13, 14] и мерами связи случайных признаков [17, 31].
Приведенные результаты о средних величинах [17, 30] Я. Э. Камень применил для анализа методов агрегирования датчиков в АСУ ТП доменных печей [32]. Л. Д. Мешалкин выступил с критикой требования равносильности условий (13) и (14) и предложил собственную постановку [33].
Велико прикладное значение РТИ в задачах стандартизации и управления качеством [34], в частности, в квалиметрии [26]. Так, В. В. Подиновский показал, что любое изменение коэффициентов весомости единичных показателей качества продукции приводит к изменению упорядочения изделий по средневзвешенному показателю [35]. Н. В. Хованов развил одну из возможных теорий шкал измерения качества [36]. Максимальными инвариантами в порядковой шкале являются ранжировки, возможно, со связями (синонимы: упорядочения, нестрогие линейные порядки, квазисерии). Поэтому от теории измерений - естественный путь к применению иных методов статистики объектов нечисловой природы, в частности, рассмотренных в обзорах [1-3, 37].
Рассмотрим в качестве примера один сюжет, связанный с ранжировками и рейтингами. Методы средних баллов
В настоящее время распространены экспертные, маркетинговые, квалиметрические, социологические и др. опросы, в которых опрашиваемых просят выставить баллы объектам, изделиям, технологическим процессам, предприятиям, проектам, заявкам на выполнение научно-исследовательских работ, идеям, проблемам, программам, политикам и т. п. , а затем рассчитывают средние баллы и рассматривают их как интегральные оценки, выставленные коллективом опрошенных. Какими формулами пользоваться для вычисления средних величин? Обычно применяют среднее арифметическое. Мы уже более 25 лет знаем, что такой способ некорректен, поскольку баллы обычно измерены в порядковой шкале (см. выше). Обоснованным является использование медиан в качестве средних баллов. Однако полностью игнорировать средние арифметические нецелесообразно из-за их распространенности. Поэтому целесообразно использовать одновременно оба метода - и метод средних арифметических рангов (баллов), и методов медианных рангов. Такая рекомендация находится в согласии с концепцией устойчивости [17], рекомендующей использовать различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах. Рассмотрим конкретный пример применения только что сформулированного подхода. Анализировались восемь математических моделей некоторого физико-химического явления, обозначенные следующим образом: Д, Л, М-К, Б, Г-Б, Сол, Стеф, К. В 12 экспериментах измерены реальные значения интересующей исследователей характеристики этого явления. Для условий этих 12 экспериментов найдены расчетные значения рассматриваемой характеристики по каждой из 8 моделей. В приведенной ниже таблице приведены ранги 8 моделей по точности приближения в отдельных экспериментальных точках (ранг 1 - самая точная модель, ранг 2 вторая по точности, .... , ранг 8 - самая далекая от истинного экспериментального значения модель). Ранжировки получены путем сравнения относительных погрешностей моделей. Табл. Ранги 8 моделей по точности приближения и результаты расчетов № эксперимента Д Л М-К Б Г-Б Сол Стеф К 1 5 3 1 2 8 4 6 7 2 5 4 3 1 8 2 6 7 3 1 7 5 4 8 2 3 6 4 6 4 2, 5 2, 5 8 1 7 5 5 8 2 4 6 3 5 1 7 6 5 6 4 3 2 1 7 8 7 6 1 2 3 5 4 8 7 8 5 1 3 2 7 4 6 8 9 6 1 3 2 5 4 7 8 10 5 3 2 1 8 4 6 7 11 7 1 3 2 6 4 5 8 12 1 6 5 3 8 4 2 7 Сумма рангов 60 39 37, 5 31. 5 76 39 64 85 Среднее арифметическое рангов 5 3, 25 3, 125 2, 625 6, 333 3, 25 5, 333 7, 083 Итоговый ранг по средн. арифм. 5 3, 5 2 1 7 3, 5 6 8 Медианы рангов 5 3 3 2, 25 7, 5 4 6 7 Итоговый ранг по медианам 5 2, 5 2, 5 1 8 4 6 7
В соответствии с методом средних арифметических рангов приведенные в таблице значения складываются по всем экспериментальным точкам (суммы приведены в четвертой снизу строке таблицы) и модели ранжируются в порядке возрастания суммы рангов. Итоговый ранг приведен в третьей снизу строке таблицы. Ранжировка по суммам рангов (или, что то же, по средним арифметическим рангам) имеет вид: Б
Поскольку модели Л и Сол получили одинаковую сумму баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер), т. е. ранжировка (2) имеет одну связь.
Медианы совокупностей из 12 рангов, соответствующих определенным моделям, приведены в предпоследней строке таблицы. (При этом медианы вычислены по обычным правилам статистики - как среднее арифметическое центральных членов вариационного ряда. ) Итоговое упорядочение по методу медиан приведено в последней строке таблицы. Ранжировка по медианам имеет вид: Б
Поскольку модели Л и М-К имеют одинаковые медианы баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер), т. е. ранжировка (4) имеет одну связь.
Сравнение ранжировок (3) и (4) показывает их близость (похожесть). Можно принять, что модели М-К, Л, Сол упорядочены как М-К
Рассмотренный пример демонстрирует сходство и различие ранжировок, полученным по методу средних арифметических рангов и по методу медиана, а также пользу от их совместного применения. Заключение
С 1973 г. работает неформальный научный коллектив вокруг научного семинара “Математические методы экспертных оценок и нечисловая статистика”, созданный в рамках секции "Планирование эксперимента" Научного Совета АН СССР по комплексной проблеме "Кибернетика" (сейчас название семинара - "Экспертные оценки и анализ данных"). Проведено много научных исследований, опубликованы десятки монографий и сборников, сотни статей. Существенная часть полученных результатов посвящена проблемам статистики объектов нечисловой природы и отражена в обзорах [1-3, 37]. Однако не было стимулов стремиться к практическому внедрению теоретических исследований, разрабатывать методики и компьютерные системы.
В настоящее время ситуация изменилась. Возникла масса аналитических центров, которым разработки нашего научного коллектива явно полезны. Однако важно установить контакты между нами, теоретиками, и менеджерами аналитических центров, наладить систему обучения. Знания должны быть основой для компьютерных систем. В частности, мы разрабатываем Автоматизированное Рабочее Место “Математика для экспертизы” (АРМ МАТЭК) специалиста по проведению экспертных исследований [38].
Подводя итоги, можно сказать, что репрезентативная теория измерений (или репрезентационная, как предпочитает писать Ю. Н. Толстова) в состоянии дать рекомендации по выбору методов анализа статистических данных, измеренных в тех или иных шкалах, а потому является частью научного инструментария специалиста по математическим методам исследования. ЛИТЕРАТУРА
1. Орлов А. И. / Заводская лаборатория. 1990. Т. 56. No. 3. С. 76-83. 2. Орлов А. И. / Заводская лаборатория. 1995. Т. 61. No. 3. С. 43-52. 3. Орлов А. И. / Заводская лаборатория. 1996. Т. 62. No. 1. С. 54-60. 4. Пфанцагль И. Теория измерений. - М. : Мир, 1976. - 165 с. 5. Стахов А. П. Алгоритмическая теория измерения. - М. : Знание, 1979. - 64 с. 6. Толстова Ю. Н. / Заводская лаборатория. - Настоящий номер. 7. Стивенс С. С. / Экспериментальная психология. Т. 1. - М. : ИЛ, 1960. С. 5-78. 8. Суппес П. , Зинес Дж. / Психологические измерения. - М. : Мир, 1967. С. 9-110.
9. Патругин Ю. А. / Экономика и математические методы. 1970. Т. VI. N 6. С. 887-893.
10. Сатаров Г. А / Проблемы педагогической квалиметрии. Вып. 1. - М. : МГПИ им. В. И. Ленина, 1974. С. 78-90.
11. Кузьмин В. Б. , Овчинников С. В. / Многомерный статистический анализ в социально-экономических исследованиях. - М. : Наука, 1974. С. 384-388. 12. Орлов А. И. / Многомерный статистический анализ в социально-экономических исследованиях. - М. : Наука, 1974. С. 388-393.
13. Толстова Ю. Н. / Социологические исследования. 1978. N 3. С. 178-184. 14. Толстова Ю. Н. / Экономика и математические методы. 1978. Т. XIV. N 3. С. 598-603.
15. Орлов А. И. / Заводская лаборатория. 1998. Т. 64. No. 3. С. 16. Орлов А. И. / Прикладной многомерный статистический анализ. - М. : Наука, 1978. С. 68-138.
17. Орлов А. И. Устойчивость в социально-экономических моделях. - - М. :Наука, 1979.
18. Орлов А. И. Задачи оптимизации и нечеткие переменные. - М. : Знание, 1980. 19. Тюрин Ю. Н. , Литвак Б. Г. , Орлов А. И. , Сатаров Г. А. , Шмерлинг Д. С. Анализ нечисловой информации. - М. : Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1981. - 80 с.
20. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. Рекомендации. - М. : ВНИИС, 1987. 62 с.
21. Айвазян С. А. , Енюков И. С. , Мешалкин Л. Д. Прикладная статистика. Основы моделирования и первичная обработка данных. Справочное издание. - М. : Финансы и статистика, 1983. - 472 с.
22. Абчук В. , Пухначев Ю. / Наука и жизнь. 1984. N 9. С. 80-85. 23. Абчук В. А. Правила удачи. - Л. : Детская литература, 1986. - 128 с. 24. Орлов А. И. / Анализ нечисловой информации в социологических исследованиях. - М. ;: Наука, 1985. С. 58-92.
25. Горский В. Г. , Курочкин В. К. , Моткин Г. А. , Орлов А. И. , Арбузов Г. М. , Швыряев Б. В. , Швецова-Шиловская Т. Н. / Труды Второй Всероссийской конференции "Теория и практика экологического страхования". - М. : Ин-т проблем рынка РАН, 1996, с. 7-12.
26. Гличев А. В. и др. Прикладные вопросы квалиметрии. - М. : Издательство стандартов. 1983. - 212 с.
27. Витяев Е. Е. , Москвитин А. А. / Методы анализа данных: Вычислительные системы. Т. III . - Новосибирск: ИМ СО АН СССР, 1985. С. 28-58. 28. Котов В. Н. Применение теории измерений в биологических исследованиях. Киев: Наукова думка, 1985. - 98 с.
29. Колмогоров А. Н. Избранные труды. : Математика и механика. - М. : Наука, 1985. С. 136-138.
30. Орлов А. И. / Математические заметки. 1981. Т. 30. N 4. С. 561-568. 31. Высоцкий В. С. / Прикладной многомерный статистический анализ. - М. : Наука, 1978. С. 348-351.
32. Камень Я. Э. Разработка и использование в АСУ ТП доменных печей согласованного с преобразованиями усредняющего сжатия данных. Автореф. дисс. канд. техн. наук. - Новокузнецк, 1988. - 17 с.
33. Мешалкин Л. Д. / Статистические методы анализа экспертных оценок. - М. : Наука, 1977. С. 215-219.
34. Кривцов В. С. , Орлов А. И. , Фомин В. Н. / Стандарты и качество. 1988. № 3. С. 32-36.
35. Подиновский В. В. / Тезисы докладов I Всесоюзного совещания по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации. - М. - Алма-Ата; ВИНИТИ. 1981. С. 142-143. 36. Хованов Н. В. Математические основы теории шкал измерения качества. - Л. : Изд-во ЛГУ, 1982. - 185 с.
37. Орлов А. И. / Заводская лаборатория. 1995. Т. 61. No. 5. С. 43-51. 38. Орлов А. И. , Горский В. Г. , Жихарев В. Н. , Цупин В. А. , Степочкин А. Н. , Васюкевич В. А. / Труды Второй Всероссийской конференции "Теория и практика экологического страхования". - М. : Ин-т проблем рынка РАН, 1996. С. 20-23.