СИФАТ ТИЗИМИ МЕНЕДЖМЕНТИСИСТЕМА МЕНЕДЖМЕНТА КАЧЕСТВАО достоверности экспертных оценок при выборе способа совершенствования системы менеджмента качестваА.В. ДурельУшбу мақолада тегишли эксперт баҳолари асосида сифат менежменти тизими (СМТ) ривожланишининг адекват йўналишини танлаш вазифасини ҳал этишнинг таклиф этилган усули ишончлилигини ўлчаш методларинининг таҳлили берилади.В статье приводится анализ методов измерения достоверности предложенного способа решения задачи выбора адекватного направления развития СМК на основе соответствующих экспертных оценок.In the article are offered analysis of the validity measurement methods for previously proposed QMS development adequate direction choice task decision on the corresponding expert estimations base. В предыдущей статье [1] предлагался подход к определению состава оптимальных для конкретного предприятия методов менеджмента качества на основе сочетания модифицированного метода анализа иерархий (МАИ) и самооценки системы менеджмента качества (СМК) предприятия согласно положениям международного стандарта ISO 10014. В соответствии с предложенной Саймоном и Ньюэллом [2] классификацией (см. рисунок), данную проблему можно отнести к категории слабоструктурированных проблем, содержащих количественные (поддающиеся математической формализации и решаемые с использованием формальных методов) и качественные задачи. Рисунок Взаимосвязь степени структуризации проблем и адекватных методов их решения Слабоструктурированные проблемы отличаются наличием комплекса характерных особенностей [3], которые проявляются и в рассмотренной проблеме: - принимаемое решение относится к будущему состоянию управляемого объекта и имеет широкий диапазон альтернатив; - не полностью определены требования, относящиеся к стоимости и времени решения проблемы, что вносит дополнительные факторы риска; - для решения проблемы необходимо комбинирование значительных объемов внутренних и внешних ресурсов. Методы экспертных оценок, применяемые для поиска решения проблем указанной категории, могут классифицированы по форме выражения суждений экспертов [4]: - непосредственное оценивание - определение значений показателей в установленных единицах, по шкале отношений, шкале интервалов или шкале порядка; - сопоставление альтернатив (гипотез); - ранжирование - расстановка альтернатив или объектов (субъектов) экспертизы в порядке их предпочтительности (сравнительной весомости). В предложенном варианте применяется выполнение каждым из привлекаемых экспертов индивидуального ранжирования всех возможных альтернатив путем их попарного сравнения по методу анализа иерархий, что позволяет максимально повысить степень достоверности экспертной оценки, предоставляемой каждым из экспертов. Предполагается, что достоверность предложенного способа получения итоговой оценки группы экспертов выше достоверности мнений отдельных экспертов, поскольку при обеспечении экспертов равного уровня компетентности (или имеющих уровень компетентность выше определенного «порогового» значения, что реализовано в рассмотренном варианте) одинаковым объемом информации коллективные методы оценки состояний обеспечивают реализацию так называемого принципа «хорошего измерителя» [5], означающего что групповое мнение экспертов благодаря минимизации случайных ошибок приближается к истинному значению исследуемого параметра по мере увеличения количества оценок. Данное предположение может быть обосновано выполнением в рассмотренной ситуации аксиом теории полезности фон Неймана-Моргенштерна, как для каждой из индивидуальных, так и для групповой оценки, а также реализацией условия неразличимости объектов в групповом отношении, при их неразличимости во всех индивидуальных оценках (частичный принцип Парето). Согласно [5], результирующее ранжирование альтернатив по итогам групповой экспертной оценки не должно также противоречить условиям пяти нижеперечисленных аксиом Эрроу: Аксиома 1 (условие независимости) - расширение или сужение множества альтернатив при сохранении отношений на общем подмножестве альтернатив не должно изменять результирующего отношения на нем; Аксиома 2 (условие универсальности) - мнения экспертов по всем показателям не должны совпадать, а альтернатива, выбранная лучшей большинством экспертов, должна быть лучшей и в результирующем ранжировании;Аксиома 3 (условие монотонности) - если кто-либо из экспертов изменил мнение в пользу результирующего ранжирования альтернатив, то само результирующее ранжирование не должно измениться; Аксиома 4 (условие ненавязанности) - для любой пары альтернатив могут существовать эксперты, предпочитающие одну из них, и эксперты, предпочитающие другую из них или безразличные к обоим альтернативам (наличие суверенности экспертов, понимаемой как отсутствие «навязанного» сообществом порядка предпочтения);Аксиома 5 (условие отсутствия «доминанты») - в экспертной группе не должно быть эксперта, чье мнение является определяющим независимо от мнений остальных экспертов. Логический анализ предложенных в [1] условий формирования групповой экспертной оценки в целях определения состава оптимальных для конкретного предприятия методов менеджмента качества позволяет придти к заключению о соответствии данного подхода вышеперечисленным аксиомам Эрроу. В результате применения метода групповой экспертной оценки к решению слабоструктурированных проблем обеспечивается получение: - коллективной результирующей всех экспертных оценок, обосновывающей наиболее предпочтительный вариант решения проблемы; - оценки согласованности экспертов, подтверждающей достоверность коллективной результирующей экспертных оценок. Групповая оценка может считаться достаточно достоверной при условии определенной согласованности ответов экспертов, в связи с чем возникает необходимость количественной оценки степени согласия экспертов. Расчет количественного значения согласованности мнений экспертов позволяет также оценить компетентность экспертов по степени отклонения их оценок от групповой оценки объекта. В настоящее время известны [6] два способа измерения согласованности мнений группы экспертов – на основе дисперсионного и энтропийного коэффициентов конкордации, рассчитываемых по формулам (1) и (4) соответственно. Оба этих коэффициента изменяются в диапазоне от «0» до «1», увеличиваясь до «1» (что соответствует максимальному значению оценки дисперсии, оптимальной по критерию минимума среднего квадрата ошибки дисперсии) при равенстве всех оценок экспертов, и принимая значение равное «0» (что в свою очередь соответствует максимальному значению энтропии) при полном отсутствии совпадений мнений экспертов. Дисперсионный коэффициент конкордации определяется по формуле:, (1) где D - оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии, определяемая формулой:, (2) где - оценка математического ожидания, равная(3) В свою очередь энтропийный коэффициент конкордации определяется формулой:(4) где Hmax – максимальное значение энтропии, а Н – энтропия, вычисляемая по формуле:(5)где pij - оценки вероятностей j-го ранга, присваиваемого i-му объекту, вычисляемые в виде отношения количества экспертов mij, приписавших объекту ранг «j» к общему числу экспертов m:(6) Выполненная сравнительная оценка дисперсионного и энтропийного коэффициентов конкордации показывает, что эти коэффициенты дают примерно одинаковую оценку согласованности экспертов при близких ранжировках. Однако, если группа экспертов разделилась в мнениях на две подгруппы с противоположным мнением, то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет выявить факт разделения мнений экспертов на две противоположные группы, что обуславливает предпочтительность применения данного коэффициента. При обработке результатов ранжирования исследуемых альтернатив могут возникнуть также задачи определения зависимости между ранжировками, мерой взаимосвязи которых может служить коэффициент ранговой корреляции, а характеристикой взаимосвязи множества ранжировок может являться [7] матрица на основе коэффициентов ранговой корреляции Спирмена или Кендалла. Сравнительная оценка коэффициентов ранговой корреляции Спирмена и Кендалла показала, что вычисление коэффициента Спирмена требует меньшего объема вычислений, позволяя при этом получить более точный результат, поскольку данный коэффициент является оптимальной по критерию минимума средней квадрата ошибки оценкой коэффициента корреляции. Следовательно, при практических расчетах корреляционной зависимости ранжировок предпочтительнее использование коэффициента ранговой корреляции Спирмена, который может быть [7] определен по формуле:(7)Изложенные выше подходы к анализу достоверности экспертных оценок опираются на известные методики, которые были адаптированы к условиям задачи поиска оптимальных для конкретного предприятия методов менеджмента качества. В качестве направлений для дальнейшего изучения (по которым не выявлено предшествующих детальных исследований) в рассматриваемой области - измерении достоверности экспертных оценок при выборе способа совершенствования СМК, представляются имеющими определенную значимость следующие два направления: - поиск и анализ механизмов минимизации влияния заинтересованности экспертов в конечных результатах процедуры коллективной оценки на достоверность их индивидуальных оценок; - изучение возможности применения принципа «процессного подхода» [8] и в частности - индексов пригодности процесса Рpk и воспроизводимости процесса Сpk, [9] в качестве дополнительного средства измерения достоверности экспертных оценок.Выводы Проведенный анализ позволил удостовериться в адекватности предложенного способа определения состава оптимальных для конкретного предприятия методов менеджмента качества, выбрать надежные и простые в реализации механизмы изучения достоверности полученных экспертных оценок, а также определить нетривиальные направления дальнейших исследований в целях разработки практических процедур минимизации рисков при выполнении мероприятий по совершенствованию СМК, которые могут получить соответствующее применение на предприятиях сферы связи и информатизации.Литература 1. Дурель А.В. О выборе оптимального способа совершенствования систем менеджмента качества // Инфокоммуникации: Сети-Технологии-Решения, № 3 (15), 2010 с. 37-40. 2. К. J., Decision Theory and Operations Research. Oper. Res., 1957, v. 5, XII, № 6, p. 765. 3. Станфорд Л. Оптнер. Системный анализ для решения деловых и промышленных проблем. - М.: Сов. радио, 1969. - 216 с. 4. Тюрин М. В. Экспертная оценка живучести телекоммуникационных систем и компьютерных сетей в условиях неполноты информации // Автоматизация в промышленности. – 2008. - №7. - с.15 - 18. 5. Захаров Е.Н., Чечкин А.В. Оценка возможностей экспертов по определению интегральных параметров факторов при экспресс-оценке функционирования открытых сложных систем.// Управление риском, № 1, 2006. 6. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 7. С.В. Никифорова Методы организации экспертизы мероприятий в инвестиционном проекте// Нижний Новгород: НТЦ, «Приоритет», 2004 8. ISO 9000:2005 «Quality management systems. Fundamentals and vocabulary» 9. Э.К. Виктор Э. Кейн. Индексы воспроизводимости процессов // http://www.spc-consulting.ru/standart/cp.htm.