Министерство образования РоссийскойФедерации
Московский авиационный институт
(государственный техническийуниверситет)
Реферат
по дисциплине
Управление качеством
на тему
Методыпроведения экспертиз
Выполнила:
Проверил:
Трофимов А. В.
Москва 2006
Содержание.
Введение…………………………………………………………………….3
Глава 1. Экспертныеоценки……………………………………………….4
Основныепонятия об экспертных оценках………………………..4
Методыэкспертиз……………………………………………………6
Глава 2. Методыпроведения
экспертиз ……………………………………………………………………9
2.1. Метод«Дельфи»………………………………………………………..9
2.2. Методмозговой атаки………………………………………………….13
2.3. Метод «Паттерн»……………………………………………………….15
Заключение…………………………………………………………………..18
Список литературы………………………………………………………….19
Введение.
Сложностьпроизводственных систем, их разнообразие и во многих случаях неопределенныйхарактер поступающей информации, придают задаче управления творческий характер,повышающий роль человеческого фактора. Это непосредственно проявляется в возрастающейроли в современном управлении методов экспертных оценок.
По мере усложненияпроизводственных технологий, а следовательно, и процесса разработки решений,внимание к экспертным оценкам существенно возросло. Официальным началомстановления экспертных методов считают 50 – 60-е годы ХХ века.
Поэтому возникаетпроблема применения экспертных оценок в управлении.
Целью работы являетсярассмотреть применение методов экспертных оценок в управлении качеством.
Глава 1. Экспертные оценки.
1.1. Основные понятия об экспертных оценках.
Сущность экспертныхметодов заключается в построении рациональной процедуры интуитивно-логическогомышления человека в сочетании с количественными методами обработки и анализаполученных результатов. При этом обобщенноемнение экспертов принимается как возможное решение проблемы.
Эксперт (от лат. еxpertus – опытный) – это высококвалифицированныйспециалист.
Формирование составаэкспертной комиссии зависит от конкретной ситуации принятия решений,возможностей организаторов экспертизы привлечь для работывысококвалифицированных специалистов, возможностей специалистов принять участиев работе экспертной комиссии.
Применяют три основныегруппы методов оценки качеств эксперта: априорные, апостериорные и тестовые.
Априорные методы оценкикачеств эксперта не используют информацию о результатах участия впредшествовавших экспертизах. Эта группа включает методы самооценивания,когда эксперт сам дает оценку своим качествам, используя следующие способы:
-самооценка по одной избалльных шкал;
-самооценка сиспользованием числовых шкал, которые наряду с числовыми значениями градацийсодержат их качественное описание;
-самооценка по вербальнойшкале, т.е. эксперт, дает словесную оценку своим знаниям, используякачественные градации заранее разработанной шкалы;
-самооценкадифференцированным методом, когда эксперт оценивает свои качества, используядва основных критерия: характеризующий его знакомства с основными источникамиинформации в данной области; характеризующий его знакомство с объектомэкспертизы. При этом способе комплексная самооценка эксперта рассчитывается поформуле:
Кк= (Ки + с × Кз):2,
где Кк – комплекснаясамооценка эксперта;
Ки – коэффициент информированности;
с – весовой коэффициент;
Кз – коэффициент знакомства спроблемой.
К другой группе априорныхметодов оценки качеств эксперта относятся: метод взаимной оценки (метод спискаэкспертов) и документальный (анкетный) метод.
Апостериорные методыоценки качеств эксперта используют результаты его участия в предыдущих опросах.С их помощью могут быть выявлены конформизм, конъюнктурность и компетентностьэксперта. Для оценки уровня компетентности может быть применен метод парныхсравнений.
Апостериорные методыпредполагают также оценку достоверности суждений эксперта. В качестве критерияиспользуется коэффициент достоверности – относительная частота случаев, вкоторых эксперт приписывал наибольшую вероятность впоследствии подтвердившимсясобытиям.
Еще одним методомапостериорной оценки является метод отклонения от результирующей групповойоценки. Он основан на расчете коэффициента отклонения Ко.
Коi = Doi:Dmax,
где Коi – коэффициентотклонения суждений i-го эксперта;
Doi – отклонение индивидуальнойоценки i-го эксперта от результирующей оценки;
Dmax – максимально возможноеотклонение оценки эксперта от результирующей оценки.
Тестовые методыоценивания качеств эксперта основываются на выполнении испытуемым экспертомзаранее подготовленного задания. Достоинство тестовых методов состоит в том,что они позволяют не только установить наличие у эксперта определенногопрофессионального уровня, но и выявить навыки и опыт, необходимые дляэффективного участия в работе экспертной комиссии. Использование тестовыхметодов позволяет оценить и воспроизводимостьэкспертных оценок.
Главными задачамиэкспертных оценок являются:
1. Определение целей.
2. Экстренный прогноз.
3. Сценарии ожидаемого развитияситуации.
4. Генерирование альтернативныхвариантов.
5. Определение рейтингов.
6. Оценочные системы.
7. Принятие коллективных решений.
Различают экспертизы однотуровые и многотуровые,анонимные и предусматривающие открытый обмен мнениями, с обменом информацией впроцессе проведения экспертиз и без него и т. д. Характер экспертнойинформации, которую предполагается использовать принятии решений, налагаетопределенные требования на выбор конкретного метода экспертизы.
1.2. Методы экспертиз.
Рассмотрим далее наиболеепопулярные методы экспертиз:
— Метод комиссий – этооткрытая дискуссия по обсуждаемой проблеме для выработки единого мненияэкспертов. Коллективное мнение определяется в результате открытого или тайногоголосования. Преимущества метода комиссий: возможен рост информированностиэкспертов за счет обсуждения обоснования экспертных оценок и обратная связь(под воздействием полученной информации эксперт может изменить первоначальнуюточку зрения). Также метод комиссий обладает и недостатками: отсутствуетанонимность, что может привести к появлению конформизма; дискуссия нередкопринимает вид полемики наиболее авторитетных экспертов; различная активность экспертов,часто не совпадающая с их компетентностью; публичность высказываний сочетаетсяпорой с нежеланием некоторых экспертов отступить от ранее высказанного мнения,хотя оно в ходе дискуссии может претерпеть изменения.
— Экспертиза по методусуда. Состав экспертов делится на две группы. Одна объявляется сторонникамирассматриваемой альтернативы и выступает в качестве защиты. Другая объявляетсяее противниками и пытается выявить отрицательные стороны, Возможна и третьясторона, которая регулирует ход экспертизы и выносит окончательное решение.
— Метод прогнозногографа. Качество прогнозов зависит от корректно проведенной экспертизы иобработки ее результатов. Известным методом экспертиз сложных систем являетсяметод прогнозного графа. Он включает несколько туров. На первом туресоставляется предварительный список промежуточных целей, необходимых длядостижения конечной цели. На втором туре подвергаются анализу промежуточныецели. Последующие туры экспертизы аналогичны второму. Процедура заканчиваетсяна том туре, когда больше не требуется дополнительных анализов и детализации.
— Метод сценариев.Сценарий означает сюжетную схему, т.е. заранее подготовленный детальный планосуществления чего-либо. Сценарии позволяют с определенным уровнемдостоверности выявить возможные тенденции развития событий, взаимосвязи междувзаимодействующими факторами, сформировать картину состояний, к которым можетприйти ситуация под влиянием конкретных воздействий.
Каждый сценарий можетбыть реализован в нескольких вариантах. Вариант – небольшие (незначительные)изменения каких-либо параметров системы в рамках сценария.
Разработка сценариевспособствует предвидению потенциальной опасности, с которой сопряжены вариантыуправленческих воздействий и неблагоприятное развитие событий. Использованиеспециальных компьютерных систем, а также датчиков случайных чисел, споследующим исключением невозможных ситуаций, расширяет горизонт анализаальтернативных вариантов в составе сценариев и выбор наиболее эффективного.
В составе экспертныхметодов, наиболее активно используемых в настоящее время, наиболее известныметод «Дельфи» и метод мозговой атаки.
Глава 2. Методы проведения экспертиз.
2.1. Метод «Дельфи».
Метод «Дельфи» один из основных в проведении групповых экспертиз иимеет различные модификации. Фактически это группа процедур, объединенныхобщими требованиями к организации экспертизы и форме получения экспертныхоценок. В нем предусматривается создание условий, обеспечивающих наиболеепродуктивную работу экспертной комиссии, что достигается анонимность процедуры,с одной стороны, и возможностью пополнить информацию о предмете экспертизы – сдругой. Метод разработан и применен в США впервые в 1964 г. сотрудникаминаучно-исследовательской корпорации «РЭНД» О. Хелмероми Т. Гордоном.
Метод «Дельфи» целесообразно применять в таких случаях, когдаимеющиеся в распоряжении или доступные данные непригодны для анализасуществующее проблемы; в распоряжении нет нужных данных; нет достаточноговремени для сбора данных; процесс получения и анализа необходимых данныхслишком дорог.
Метод «Дельфи» предусматривает создание условий, обеспечивающихэффективную работу экспертной комиссии. Это достигается анонимностью процедурыи возможностью пополнить информацию о предмете экспертизы, отказом отколлективного мнения. Важное свойство – это обратная связь, позволяющаяэкспертам корректировать свои суждения с учетом промежуточных усредненныхоценок и пояснений экспертов, высказавших «крайние» точки зрения. Дляреализации обратной связи необходима многотуроваяпроцедура. Экспертиза проводится чаще всего в четыре тура.
Прямые дебаты замененытщательно разработанной программой последовательных опросов, проводимых обычнов форме анкетирования. Ответы экспертов обобщаются и вместе с новойдополнительной информацией поступают в распоряжение экспертов, после чего ониуточняют первоначальные ответы. Такая процедура повторяется несколько раз додостижения приемлемой согласованности всей совокупности высказанных мнений.Перед рассылкой анкеты эксперту объясняется проблема.
На первом туре экспертамсообщается цель экспертизы и формируются вопросы, ответы на которые составляютосновное содержание экспертизы.
Успеху экспертизыспособствует предоставление эксперту дополнительной информации о предметеэкспертизы. Информация, полученная от эксперта, поступает в распоряжениеаналитической группы, обеспечивающей организацию, проведение, обработкупромежуточных и окончательных результатов экспертизы. Аналитическая группаопределяет экспертов, высказавших крайние точки зрения, давших самую высокую и самуюнизкую оценку альтернативе. Усредненное мнение экспертов – медиану, верхнюю инижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которыхрасположены 25% числовых значений оценок. Расстояние между квартилямихарактеризует разброс экспертных оценок, т.е. согласованность точек зренияэкспертов.
Вводятся следующиеобозначения:
T 0 — значениенаиболее ранней оценки;
T 0,25 –значение оценки, определяющей 25% наиболее ранних оценок (из всех имеющихся), — нижний квартиль;
T 0,5 –значение оценки, разделяющий упорядоченную по оси времени совокупность оценокна две равные по количеству оценок части, — медиана;
T 0,75 –значение оценки, определяющей 25% наиболее поздник оценок (из всех имеющихся),- верхний квартиль;
T 1,0 –значение наиболее поздней оценки.
Степень согласованностимнений экспертов определяют коэффициентомвариации υ, который не должен превышать 33%. Онрассчитывается по формуле
σ
υ= ─ ×100%,
х
где х – средне квадратическое отклонение оценок;
σ – квартиль.
σ=√[∑(xi x)²]:n,
где х – среднеезначение оценок;
хi – оценкакаждого эксперта;
n число экспертов.
Медиана – это значениеоценки, которое находится в середине ранжированного ряда. Для нахождениямедианы ряда с четным числом складывают два средних варианта и делят суммупополам.
На втором туре экспертампредъявляется усредненная оценкаэкспертной комиссии и обоснования экспертов, высказавших «крайние» точкизрения. Обоснования принимаются анонимно, без указания имен экспертов.Скорректированная информация вновь поступает в аналитическую группу. На третьемтуре эта информация вместе с анонимными аргументациями поставленных оценокснова направляется каждому участнику. На основе полученной информации экспертыпересматривают предыдущие оценки. На четвертом туре каждому экспертупредоставляется право распределения оценок третьего тура, и он должен сновапредставить на рассмотрение пересмотренную оценку, учтя полученную информацию.В некоторых случаях согласованная точка зрения экспертов может быть полученауже после второго или третьего туров. Тогда необходимость проведения следующихтуров отпадает.
При использовании метода«Дельфи» полезно учитывать следующее:
1. Группы экспертов должны бытьстабильными.
2. Время между турами опросов не должнобыть более месяца.
3. Вопросы в анкетах должны бытьтщательно продуманны и однозначно сформулированы.
4. Число туров должно быть достаточным,чтобы обеспечить всем участникам возможность ознакомиться с причиной появленияоценки, а также для критики этих причин.
5. Должен проводиться систематическийотбор экспертов.
6. Необходимо иметь самооценкукомпетенции экспертов по рассматриваемым проблемам.
7. Нужна формула согласованности оценок,основанная на данных самооценок.
8. Необходимо установить влияниеразличных видов передачи информации экспертам по каналам обратной связи.
Метод «Дельфи» является достаточно надежным инструментом полученияэкспертной информации. С его помощью выявляется преобладающее суждениеспециалистов.
После первой апробацииметода «Дельфи» были разработаны различные его модификации.Все модификации могут быть охарактеризованы следующим образом:
-составлениеклассификатора событий, которые экспертам предстоит анализировать;
-предварительное описаниепрогнозного фона;
-уменьшение числа туровопроса;
-характер вопросов, задаваемыхэкспертам, и соответствующие математические процедуры получения групповыхпрогнозных оценок.
Модифицирование метода «Дельфи» было связанно с расширением области его применения.
Классический метод «Дельфи»,созданный для прогнозирования научных открытий и времени их свершения, сталиспользоваться для оценки приоритетности направлений прикладных исследований, атакже для анализа перспективности технических (конструкторских итехнологических) решений и даже для оценки количественных показателей разрабатываемыхтехнических объектов, технологических процессов и т.д.
2.2. Метод мозговой атаки.
Этот метод, известныйтакже под названиями «мозговой штурм» и «конференция идей», был предложенамериканским ученым А. Осборном в 1955 году. Основная направленность метода –выявление новых идей и решений.
Метод мозговой атакихарактеризуется открытым высказыванием мнений специалистов (на специальномзаседании) по решению конкретной задачи. При этом должны соблюдаться два условия: 1) запрещается критика чужих суждений;2) предполагается высказывать любые идеи по решению данного вопроса без учетаих сиюминутной ценности или возможности реализации. Все высказанные идеификсируются и после обсуждения детально прорабатываются. Достоинством методамозговой атаки является возможность принятия решения за сравнительно короткийсрок.
При реализации методамозговой атаки может применяться принцип Парето. После регистрации идей из всейих совокупности каждым экспертом отбирается 20% идей, с их точки зрениязаслуживающих наибольшего внимания. Далее из их состава отбираются те, которыеполучили наибольшее количество очков. Применение этого метода устраняет эффектконформизма, т.е. приспособленчества, позволяет получить продуктивныерезультаты за короткое время, вовлечь всех экспертов в активный творческийпроцесс.
Метод мозгового штурмаоснован на следующих принципах:
1. В решении поставленнойзадачи участвуют две группы людей: генераторы идеи и эксперты.
2. При генерировании недолжно быть никаких ограничений.
3. Философская основаметода мозгового штурма – теория З. Фрейда, согласно которой сознание человекапредставляет собой топкое и непрочное наслоение над подсознанием.
Основное достоинствометода мозговой атаки – в запрете на критику.
Весь процесс «атаки»можно разделить на шесть этапов:
1. Формируется группа экспертов (10 — 15человек). Состав группы предполагает их целенаправленный подбор.
2. Составляется проблемная записка. Дляподготовки записки предварительно формируется группа анализа проблемной ситуации.
3. Генерация идей. Продолжительностьштурма может составлять 20 – 60 минут (в зависимости от активности участников).
4. Систематизация идей, высказанных натретьем этапе (генерации).
5. Деструирование (разрушение)систематизированных идей. Каждая из систематизированных идей изучается навозможность ее осуществления.
6. Оценка критических замечаний и составление списка практически применимыхидей.
Мозговая атака можетиметь различные модификации. При решении проблем численность людей, какгенераторов, так и экспертов, обычно не превышает шести человек, продолжительностьштурма не более 20 минут.
2.3. Метод «Паттерн».
Метод «Паттерн» позволяетанализировать и ранжировать по степени важности сведения в любой областидеятельности таким образом, чтобы можно было представить сложное и взаимноесоотношение постоянных и переменных факторов.
Инициатором созданияметода «Паттерн» считают вице-президента организации «Хониуэлл»Ч. Дэвиса (1963 г.). Иерархическая модель метода «Паттерн» строится исходя изпринципов дедуктивной логики путем деления проблем на подпроблемы.
Разработка иерархическогодерева по методу «Паттерн» начинается с составления сценария. Сценарийустанавливает соотношение целей, в общем, их наборе путем групповогоэкспертного анализа.
Дерево целей для оценкиотносительной важности всех входящих элементов строится сверху вниз исходя изсценария, уровень за уровнем, чтобы мероприятия последующего уровняобеспечивали задачи предыдущего. Древо целей состоит из восьми уровней: О –национальные цели; А – мероприятия; В – задачи; С – задания; D – принципысистемы; Е – функциональные подсистемы; F – конструкции функциональных подсистем; G – технические проблемы. Каждый уровень имеет определенное количество элементов, например,уровень О имеет 1 элемент, уровень А – 3, уровень В – 6, уровень С – 46 и т.д.
Главным преимуществоминформационного обеспечения метода «Паттерн» является возможностьколичественной оценки всех элементов, входящих в дерево целей, в виде «весов»,т.е. коэффициентов их относительной важности (Ri).
Количество туров зависитот квалификации специалистов и их опыта; считается, что в среднем достаточнотрех туров голосования для групп, состоящих из 10 – 12 человек.
Для каждого из уровней(от А до G) составляется матрица соответствия элементов данного уровнякритериям.
Заполнение матрицы (табл.1) является главной целью экспертнойоценки. Такой способ заполнения матрицы является существенным улучшениемметодики интуитивной оценки, используемой в других методах (например, метод «Дельфи»). Таблица1. Общая форма матрицы соответствия.
Критерий (i)
Вес критерия (Kbi)
1
2
3
…
n
1
Кb1
S11
S12
S13
...
S1n
2
Кb2
S21
S22
S23
...
S2n
3
Кb3
S31
S32
S33
...
S3n
…
…
...
...
...
...
...
m
Кbm
Sm1
Sm2
Sm3
...
Smn
Дерево состоит изэлементов (узлов), ветвей (линий) и семейств. Семейство «дерева решений»включает конкретный элемент и непосредственно связанные с ними элементы.
В соответствии с методом«Паттерн» для каждого уровня составляется матрица соответствия элементов уровнявыбранным критериям.
Следующей задачей являетсянахождение оценок «дочерних» элементов«дерева» (Sij). Для этого используется метод Чермера – Акоффа, которыйзаключается в систематической проверке суждений об отношениях оцениваемыхвеличин с помощью последовательных сравнений. Для этого эксперты упорядочиваютвеличины сначала по степени важности. Затем необходимо присвоить значение 1наиболее важному результату, а остальным – меньшие значения. Далее проводитсясравнение этого результата и суммы менее важных оценок. Затем полученные оценки«нормировались» путем деления каждой из них на соответствующую сумму.
На основании данных пометоду «Паттерн» рассчитываются искомые коэффициенты относительной важности.Рассчитывается по формуле:
Ri = ΣKbi× Sij
Рассчитанные значения Ri вписываются возле соответствующего элемента награфическом изображении дерева целей. Затем перемножают оценки, соответствующиекаждому элементу дерева и относящиеся к каждой ветви.
По этим результатам можно оценивать варианты и выбрать то из них,которое соответствует максимальной величине произведения, а также ранжироватьпоследовательность вариантов решений.
Следовательно, дляуправления качеством, необходимо выбрать наиболее эффективный метод экспертныхоценок.
Заключение.
Таким образом, сущностьэкспертных методов заключается в построении рациональной процедурыинтуитивно-логического мышления человека в сочетании с количественными методамиоценки и обработки полученных результатов. При этом обобщенное мнение экспертовпринимается как решение проблемы.
Класс экспертных методов основан наиспользовании экспертов в качестве основных источников информации относительноперспектив развития объекта управления.
Особое внимание уделеноприменению экспертных методов «Дельфи», мозговойатаки, «Паттерн» при проведении экспертиз.
Список литературы.
1. БешелевС.Д., Гурович Ф.П. Экспертныеоценки. М.: Наука, 1982.
2. Евланов Л.Г., Кутузов В.А. Экспертныеоценки в управлении. М.: Экономика, 1978.
3. Литвак Б.Г. Экспертные оценки ипринятие решений. М.: Патент, 1996.