Экспертные методы оценки управленческого решения

20

20

Содержание

1. Характеристика экспертных процедур

2. Этапы проведения экспертизы, их содержание

3. Экспертная оценка уровня странового риска. Индекс БЕРИ

1. Характеристика экспертных процедур

В теме 5 были рассмотрены наиболее применяемые в практической деятельности общие методы оценки риска, позволяющие количественно оценить риск некоторого управленческого решения любой сферы деятельности предпринимателей. Вместе с тем существуют ситуации, когда по различным причинам, в основном в связи с отсутствием достоверной информации, использование подобных методов не представляется возможным. В таких случаях широко применяются методы, использующие результаты опыта и интуиции, то есть эвристические методы, или методы экспертных оценок.

Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений. Общей направленностью этих процедур является использование человека как «измерительного прибора» для получения количественных оценок процессов и суждений, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

Наиболее часто эвристические методы используются при разработке каких-либо новых направлений, новых концепций развития, а также, политических, социальных, экономических, макроэкономических прогнозах. Одной из сфер применения этих методов является качественный анализ и количественная оценка экономического риска. В основе применения этих методов лежит гипотеза о наличии у экспертов умения с достаточной степенью достоверности оценить важность и значение исследуемой проблемы перспективность развития определенного направления исследований, время свершения того или иного события, целесообразность выбора одного из альтернативных путей развития объекта прогноза и т. д.

Применяемые в прогнозировании методы экспертных оценок разделяют на индивидуальные и коллективные.

Методы индивидуальных оценок предполагают использование мнения, знания и интуиции одного специалиста--эксперта

Основными целями использования индивидуальных экспертных оценок являются:

- прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем. Применительно к анализу и оценке риска -- это выявление источников и причин риска, прогнозирование действий конкурентов, установление всех возможных рисков, оценка вероятности наступления рисковых событий, назначение коэффициента относительной важности (значимости) последствия и ранжирование рисков, выявление путей снижения риска и многое другое;

- анализ и обобщение результатов, представленных другими экспертами;

- составление сценариев действий;

- выдача заключений на работу других специалистов и организаций (рецензии, отзывы, экспертизы и т. п.).

Достоинством индивидуальной экспертизы является оперативность получения информации для принятия решений и относительно небольшие затраты. В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок.

Методы коллективных экспертных оценок основаны на принципах коллективного мнения экспертов о перспективах развития объекта прогнозирования

Они снижают недостатки методов индивидуальной экспертизы и решения, принятые на их основе, связаны с большей вероятностью осуществления.

Выделяют три типа групповых процедур:

- открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;

- свободное высказывание без обсуждения и голосования;

- закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса.

Первый тип групповых процедур хотя и используется в практике проведения экспертизы, но не всегда обеспечивает ее эффективность, то есть получение достоверных оценок. Это связано прежде всего с тем, что заключение группы экспертов находится под сильным влиянием авторитарных и «напористых» участников экспертизы. В результате этого группе может быть навязано мнение одного эксперта.

Второй тип данных процедур предусматривает отсутствие любой критики, препятствующей формулировке идей, а также свободную интерпретацию идей в рамках поставленной проблемы. Такой метод обсуждения получил название метода коллективной генерации идей или, по американской терминологии, -- метода «мозговой атаки».

Метод «мозговой атаки» ориентирован на открытие новых идей и достижение согласия в группе экспертов на основе интуитивного мышления. Участники коллективной генерации идей высказывают свои мнения относительно вариантов решения проблемы. Высказывается как можно больше идей, желательно нетривиальных. Оценка и обсуждение идей производится в конце всей процедуры. Суть метода «мозговой атаки» можно представить в виде схемы (рис. 6.1)

С помощью этого метода можно успешно решать ряд задач по управлению риском, а именно:

- выявление источников и причин риска, установление всех возможных видов рисков;

- выбор направлений и путей снижения риска;

- формирование полного набора и качественной оценки вариантов, в которых используются различные способы снижения риска или их комбинации и др.

К недостаткам использования данного метода относится значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

Третий тип экспертных процедур позволяет в значительной мере. Устранить указанные недостатки первого и второго типов групповых оценок. Примером методов данного типа экспертизы служит метод «Дельфи», название которого произошло от греческих дельфийских оракулов.

Метод «Дельфи» состоит в проведении опроса экспертов в несколько туров, что позволяет использовать обратную связь путем ознакомления экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов. Поэтапный опрос продолжают до тех пор, пока не достигается максимальное сближение точек зрения. Суть метода «Дельфи» можно представить в виде схемы (рис. 6.2)

Метод «Дельфи» наиболее целесообразен при количественных оценках отдельных рисков и риска всего проекта в целом, то есть при определении вероятности наступления рисковых событий, оценке величины потерь, вероятности попадания потерь в определенную зону риска и т. п.

Одним из широко используемых методов экспертизы также является метод «сценариев». Метод «сценариев» позволяет упорядочить информацию о взаимосвязи решаемой проблемы с другими проблемами и о возможных путях развития. Суть метода состоит в том, что группа высококвалифицированных специалистов составляет план сценаристов котором намечает отрасли науки, техники, экономики, политики, которые должны быть учтены при формулировании и решении проблемы. Разные разделы сценария пишут разные группы специалистов или отдельные специалисты. В этих разделах сценария стараются отобразить возможный ход во времени, начиная с существующего состояния или некоторого события в будущем.

Рис. 1. Структура метода «мозговой атака»

2. Этапы проведения экспертизы, их содержание

Общая схема экспертных опросов включает в себя следующие этапы:

- формирование целей и вопросов экспертизы;

- формирование правил проведения опроса или характера взаимоотношения экспертов;

- формирование группы экспертов;

- выбор способа оценки степени компетентности экспертов;

- формирование правил обработки мнений экспертов;

- вычисление экспертных обобщенных оценок и определение степени согласованности экспертов;

Рассмотрим некоторые из этих этапов подробней.

Рис.2. Этапы метода «Дельфи»

Большое значение имеет четкое определение целей (цели) экспертизы. Наличие четко сформулированных задач и ясно понятых потребностей является обязательным условием обеспечения надежного результата экспертизы.

Выбор целей и характер процедуры экспертизы в значительной степени определяется существом проблемы, предполагаемыми конечными результатами и возможными способами их представления. Уровень принятия решений (государственный, отраслевой, предприятия) определяет широту диапазона, количество альтернатив и степень формализации процедуры. Кроме того, на выбор целей и процедуры экспертизы влияют надежность и полнота имеющихся данных, а также вид требуемой информации. поэтому при формулировании целей экспертизы прежде всего необходимо четко установить признак, по которому надлежит проводить оценку, а также условия использования экспертных оценок. если целей несколько, то оценки по разным шкалам нужно постараться свести к единой шкале, например, за счет установления цели более высокого уровня.

Структурно-организационный набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Хотя форма и содержание вопросов определяются спецификой объекта и прогнозирования, можно установить общие требования к ним:

- вопросы должны быть сформулированы в общепринятых терминах, без смысловой неопределенности;

- все вопросы должны логически соответствовать

объекта;

- вопросы должны обеспечивать единственное толкование По форме вопросы могут быть открытыми и закрытыми, прямыми и косвенными.

Существует три основные группы вопросов используемых при проведении коллективной экспертной оценки.

1. Вопросы, предполагающие ответы в виде количественной оценки: о времени, вероятности свершения события, об оценке относительного влияния факторов. При определении шкалы значений количественных характеристик целесообразно пользоваться неравномерной шкалой. Выбор конкретного масштаба неравномерности определяется характером зависимости ошибки прогноза от периода упреждения.

2. Вопросы, требующие содержательного ответа в свернутой форме: дизъюнктивные, конъюнктивные, импликативные.

3. Вопросы, требующие содержательного ответа в развернутой форме: в виде перечня сведений об объекте и аргументов, подтверждающих или опровергающих тезис, содержащийся в вопросе. Эти вопросы формируются в два этапа. На первом этапе экспертам предлагается сформулировать наиболее перспективные и наименее разработанные проблемы. На втором из названных проблем выбираются вопросы, принципиально разрешимые и имеющие непосредственное отношение к объекту исследования.

При формировании группы экспертов основным является определение ее качественного и количественного составов. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы, а затем составляется список компетентных лиц, способных решить ее.

Для получения качественного результата экспертизы к, ее участникам предъявляется ряд требований, основными из которых являются:

- высокий уровень общей эрудиции;

- глубокие специальные знания в оцениваемой области;

- способность к адекватному отображению тенденции развития исследуемого объекта;

- наличие психологической установки на будущее; -чисто научный интерес к поставленному вопросу при отсутствии практической заинтересованности в этой области;

- наличие производственного и (или) исследовательского опыта рассматриваемой области.

Для того чтобы подобрать качественную группу экспертов, необходимо также оценить их компетентность.

Существуют несколько методов оценки компетентности экспертов:

- оценка компетентности организаторами с учетом участия эксперта в различных экспертизах;

- тестирование;

- метод самооценки;

- метод взаимной оценки компетентности экспертами.

Одним из методов оценки компетентности экспертов является их тестирование. Для этого разрабатывается специальный тест-анкета, отвечая на вопросы которого эксперт должен показать знание объекта исследования, аналитические способности. Следует отметить, что разработка тест-анкеты -- сложная и трудоемкая процедура, поэтому этот метод оценки компетентности оправдан только в случаях привлечения для экспертизы большого (>30) числа экспертов.

В некоторых случаях можно предложить экспертам провести самооценку компетентности по некоторой шкале, например от 2 до 5. При самооценке эксперт определяет степень своей осведомленности в исследуемом вопросе также на основании анкеты. Обработка данных дает возможность получить количественную оценку компетентности потенциального эксперта по следующей формуле:

Где Vj -- вес градации в баллах, подчеркнутой экспертом по j-той характеристике в анкете;

Vj max - максимальный вес в баллах (предел шкалы) j-той характеристики;

n -- общее количество характеристик компетентности в

л -- вес ячейки, подчеркнутой экспертом в шкале самой! в баллах;

Р -- предел шкалы самооценки эксперта в баллах.

В тех случаях, когда эксперты знакомы с деятельностью и знают уровень компетентности друг друга, можно использовать метод взаимной оценки компетентности. Для этого каждого і - эксперта (і =1,2,,m) просят оценить компетентность других экспертов l =1,2,..., m (l ? i) по некоторой шкале, например, от 1 дo 5. Взаимные оценки компетентности представляются в виде квадратной матрицы ||b_li||, столбцом i которой являются оценки, данные i-тым экспертом всем другим экспертам Диагональные элементы в ||b_li||, принимаются одинаковыми для всех и равными любому неотрицательному числу (обычно нулю). Вектор коэффициентов компетентности экспертов К={К¹К²,....,К^m} определяется решением векторного уравнения

где Кi, -- максимальное действительное собственное число матрицы ||b_li||. То есть решение является собственным вектором матрицы ||b_li||.

По данным взаимной оценки компетентности экспертов можно выявить конфронтацию между экспертами, коалиции экспертов. Конфронтация обязательно исказит действительную компетентность экспертов, и в этих случаях метод взаимной оцени компетентности использовать нецелесообразно.

Перечисленные методы оценки компетентности являются «внешними» по отношению к проводимой экспертизе, т. е. результат оценки компетентности К={К¹К²,....,К^m} являются входной информацией для обработки результатов экспертного опроса в данной экспертизе.

Установить оптимальную численность группы экспертов довольно трудно. Однако разработан ряд формальных подходов к решению этой проблемы. Один из них основан на установлении максимальной и минимальной границ численности групп исходя и двух условий: высокой средней компетентности групп экспертов и стабилизации средней оценки прогнозируемой характеристике.

Первое условие используется для определения максимальной численности группы экспертов n_max:

где Ki -- компетентность i-того эксперта;

С -- константа;

K_max -- максимально возможная компетентность по используемой шкале.

Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать истинным. Для определения константы используется практика голосования, т. е. группа считается избранной, если за нее подано 2/3 голосов присутствующих. Исходя из этого, принимаем, что С =2/3. Таким образом, максимальная численность экспертной группы устанавливается на основании неравенства:

Далее определяется минимальная численность экспертной группы n_min посредством использования условия стабилизации средней оценки прогнозируемой характеристики, которое формулируется так: включение или исключение эксперта из группы незначительно влияет на среднюю оценку прогнозируемой величины:

где B-- средняя оценка прогнозируемой величины (в баллах), данная экспертной группой;

B -- средняя оценка (тоже в баллах), данная экспертной группой, из которой исключен (или в которую включен) один эксперт;

Bmax-- максимально возможная оценка прогнозируемой величины в принятой балльной шкале оценок;

E-- заданная средняя ошибка вследствие включения (исключения) эксперта.

Величина средней оценки наиболее чувствительна к оценке эксперта, обладающего наибольшей компетентностью и поставившего наибольший балл при В<В_max и минимальный при В >= Bmax/2. Поэтому для проверки выполнения условия предлагается исключить из группы одного эксперта.

Таким образом, по представленным формулам можно получить оценочные значения максимального и минимального числа экспертов в группе. Окончательная численность экспертной группы формируется на основании последовательного исключен малокомпетентных экспертов с учетом условия (К_мах-К)< з, з -- заданная граница допустимого отклонения компетентное і-того эксперта от максимальной. Одновременно в группу мог включаться новые эксперты. Численность группы устанавливаться в пределах n_MIN<n<n_MAX .

Кроме рассмотренных процедур, в методах коллективных: экспертных оценок используется подробный статистический анализ экспертных заключений, в результате которого определяются качественные характеристики группы экспертов. В соответствии этими характеристиками в процессе проведения экспертизы качественный и количественный составы экспертной группы корректироваться.

При статистической обработке результатов экспертных нок в виде количественных анкетных данных определяются статистические оценки характеристик и их доверительные границы статистические оценки согласованности мнений экспертов пример, среднее значение прогнозируемой величины определяются по формуле:

где Bi -- значение прогнозируемой величины, данное i-тым:

n -- число экспертов в группе.

Кроме того, определяется дисперсия

и приближенное значение доверительного интервала

где t -- параметр, определяемый по таблицам Стьюдента, данного уровня доверительной вероятности и числа степеней свободы K=n-2.

Доверительные границы для значения прогнозируемой величины вычисляются по формулам:

A_B =B+J -- для верхней границы,

A_H =B-J -- для нижней.

Коэффициент вариации оценок, данных экспертами

где - среднеквадратичное отклонение.

При обработке результатов экспертных оценок по относительной важности объектов (например, при определении рейтинга коммерческих банков) среднее значение, дисперсия и коэффициент вариации вычисляются для каждого оцениваемого объекта. Кроме того, вычисляется коэффициент конкордации, показывающий степень согласованности мнений экспертов по важности каждого из оцениваемых объектов, и коэффициенты парной ранговой корреляции, определяющие степень согласованности мнений экспертов.

Для этого производится ранжирование оценок важности, данных экспертами. Каждая оценка, данная i-тым экспертом, выражается числом натурального ряда таким образом, что 1 присваивается максимальной оценке, а n -- минимальной. Если все оценки различны, то соответствующие числа натурального ряда есть ранги оценок i-того эксперта. Если среди оценок, данных i-тым экспертом, появляются одинаковые, то этим оценкам назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда.

Сумма рангов, назначенных экспертами объекту j=1,2,... m (m -- число исследуемых объектов), определяется по формуле:

где Rij ранг оценки, данной i-тым экспертом j-тому объекту.

Среднее значение суммы рангов оценок по всем объектам экспертизы определяется по формуле

Отклонение суммы рангов, полученных i-тым объектом, от среднего значения рангов равно d_j=S_j-S . Тогда коэффициент конкордации, вычисленный по совокупности всех объектов, составит: суммы рангов равно d_j=S_j-S. Тогда коэффициент конкордации, вычисленный по совокупности всех объектов, составит:

где n-- количество групп равных рангов;

Ti -- количество равных рангов в группе.

Величина рассчитывается при наличии одинаковых рангов.

Коэффициент конкордации изменяется в пределах Wє[0; 1].W=1- означает полную согласованность мнений экспертов, W=0 -- полную несогласованность. Низкое значение этого коэффициента может быть получено как при отсутствии общности мнений, так и из-за противоположных мнений между подгруппами экспертов, хота внутри подгруппы согласованность может быть высокой.

Для выявления степени согласованности мнений экспертов пользуется коэффициент парной ранговой корреляции

где Шj=|R_i-R_j+1|, т. е. разность (по модулю) величин рангов оценок i-того направления, назначенных i-тым и (I+1)-тым экспертами. ;

Коэффициент парной ранговой корреляции может принимать значения от + 1 до -1. Значение р = 1 соответствует полной согласованности мнений двух экспертов, р =-1 показывает, мнения противоположны.

Для определения уровня значимости коэффициентов W и P_i,j+1 можно использовать критерий

соответствующим таблицам определить уровень значимости полученных результатов. Считается, что групповые оценки экспертов достоверны, если между личными оценками экспертов наблюдается большая согласованность.

Кроме того, количественно степень согласованности мнений экспертов можно определить коэффициентом согласия Е, являвшимся разновидностью коэффициента множественной корреляции. Коэффициент согласия вычисляется по формуле:

где m -- число экспертов;

Rij -- коэффициент корреляции оценок i и l экспертов.

После вычисления коэффициента согласия он проверяется на значимость, т. е. проверяется гипотеза о случайности получения данного значения Е. Эту гипотезу можно интерпретировать или как независимость оценок экспертов, или как случайность проставления экспертами своих оценок. Проверяется она по процедуре статистической проверки гипотез.

Значение коэффициента согласия и результат его проверки на значимость используются для анализа достоверности групповых оценок при небольшом (m<=15) числе экспертов. При большом количестве экспертов коэффициент согласия обычно уменьшается, и в то же время он оказывается значимым, потому что при их большом числе с большей вероятностью найдется несколько экспертов, мнения которых согласуются, а это приведет к неприятию гипотезы о независимости их мнений. Поэтому при большом числе экспертов для оценки достоверности, наряду с согласованностью, следует использовать понятие устойчивости групповой оценки.

Устойчивость групповых оценок объектов определяется как независимость групповых оценок от состава экспертной группы, т. е. групповая оценка объекта; устойчива, если она не изменяется при исключении некоторого числа экспертов из экспертной группы.

В случаях, когда групповые оценки объекта оказались недостаточными (т. е. коэффициент согласия оказался незначительным или групповые оценки неустойчивы), целесообразно выделить из экспертов некоторую группу, оценки объектов которых, и групповые оценки в рамках группы будут достоверными. В некоторых случаях удается выделить не одну такую группу, а несколько, в каждой из которых оценки экспертов близки. Обычно это случается при проведении экспертиз по сложному вопросу, на решение которого существует несколько точек зрения. Тогда каждая сформированная группа экспертов отражает одну точку зрения, отличную от других.

Следует отметить, что задача группирования экспертов относится к комбинаторным задачам, так что разработать оптимальный алгоритм группирования довольно сложно. Поэтому используются последовательные алгоритмы, суть которых в следующем. Находится пара экспертов, мнения которых наиболее сходны (для этого используется матрица корреляции эксперт -- эксперт). Затем из оставшихся m--2 экспертов выделяется эксперт, мнение которого ближе всего к группе из трех экспертов и т. д. На каждом шаге вычисляется коэффициент согласия сформированной группы экспертов и проверяется его значимость. Увеличение группы ведется до тех пор, пока после присоединения к ней нового эксперта групповые оценки объектов остаются достоверны по коэффициенту согласия. После формирования одной группы следует повторить процедуру с оставшимися экспертами, чтобы попытаться сформировать из них еще одну группу.

3. Экспертная оценка уровня странового риска. Индекс БЕРИ

Для определения стратегии, политики и тактики маркетинга любого производителя важное значение имеет определение уровня странового риска. Его отличительной чертой является сложность расчета и анализа, так как количество оценочных факторов очень велико. Кроме того, необходимо создавать высокоэффективный, гибкий и достоверный банк данных. Поэтому, как правило, анализом уровня конкретного странового риска занимается не каждый производитель в отдельности, а специальные фирмы актуариев (Франция), национальные банки (Дания, Великобритания) или другие организации (Швейцария). Зачастую методика анализа уровня странового риска является коммерческой тайной.

С помощью методики, применяемой фирмой БЕРИ (Германия), четыре раза в год получают так называемый индекс БЕРИ, используемый для текущего анализа экономико-политической ситуации в любой стране, регионе или районе. Его определяют путем опроса 100 экспертов-специалистов в области экономики, социологии, юриспруденции и психологии. Они анонимно отвечают на 15 вопросов, которые являются оценочными критериями. Каждый из этих вопросов имеет свой максимальный удельный вес в процентах с общей суммой 100, оценивается в баллах и имеет пять вариантов -- от 0 (неприемлемо) до 4. Чем выше количество набранных баллов, тем ниже уровень странового риска. Рассмотрим эти вопросы.

1. Политическая стабильность в анализируемом районе (регионе, стране) -- 12%. Проводится анализ частоты и специфики социальных, экономических и политических конфликтов с использованием методов вариационного анализа.

2. Отношение к иностранным инвестициям, распределение и эффективность использования прибыли -- 6%. Одним из направлений анализа является анализ размеров и эффективности использования социальных фондов разных социальных групп производителей.

3. Степень национализации -- 6%. Границы анализа определяются возможностью неожиданной и безвозмездной экспроприации (0 баллов), а также предоставление различного рода преимуществ иностранным инвесторам или партнерам (4 балла).

4. Вероятность и степень девальвации валюты и анализ факторов, влияющих на нее, -- 6%. Для этого чаще всего используются модели регрессионного, дисперсионного и факторного анализов.

5. Состояние платежного баланса, а также влияние различных факторов на доходы иностранных инвесторов, направление и эффективность их использования -- 6%.

6. Степень развития бюрократии -- 4%. Учитываются степень государственного регулирования (первый постулат американского политолога и математика Артура Лаффера), скорость осуществления таможенных и других формальностей, валютных переводов и т. п.

7. Темп экономического роста -- 10%. Если в стране-партнере темп роста валютного продукта ниже 3% в год, то данный пункт оценивается в 2,5% из 10 возможных; если темп роста валютного продукта колеблется от 3 до 6%, то пункт оценивается в 5%; если темп роста валютного продукта составляет от 6 до 10%, то общая оценка равна 7,5% и, наконец, если темп роста валютного продукцию превышает 10%, то и сам вопрос получает 10% оценки.

8 Конвертируемость валюты -- 10%. Если валюта страны-партнеры является официально конвертируемой, то 0 баллов и 0%.

9. Степень и качество выполнения договорных обязательств -- 6%.

10. Уровень расходов на заработную плату и производительность труда -- 8%. Анализ проводится с помощью индексного и регрессионного анализов, метода главных компонентов и т. п.

11. Возможность пользования услугами внутренних и внешних экспертов, эффективность их работы в области права и маркетинга составления бухгалтерской и статистической отчетностей -- 2%.

12. Эффективность организации транспорта и связи, вероятность потери, порчи товара, скорость осуществления различных телефонно-телеграфных и факсных переговоров, доставки деловой корреспонденции и т. п. -- 4%.

13. Взаимоотношения между производителями, государственными органами и общественными организациями -- 4%.

14. Условия получения различных видов краткосрочного кредита - 8%.

15. Условия получения долгосрочного кредита -- 8%.

Формирование данного индекса является иллюстрацией метода групповой экспертной оценки и является инструментом определения и анализа политико-экономической стабильности стран (регионов, районов) мира.

Литература

1. Беленцов В.Н., Брадул С.В., Канарськая Н.В., Куденко Г.Е., Кучеба П.К. Оцінка і обгрунтування підвищення ефективності господарської діяльності промислових підприємств. : Навч.-метод. посібник. Ч.1 - Донецьк: Дон ДУУ, 2002. - 180 с.

2. Виробничий менеджмент: Навчальний посібник. / За ред. професора П.К.Кучеби. - Донецьк: ТОВ «Юго-Восток» ЛТД», 2002с. - 341 с.

3. Економіка підприємства: Підручник / За заг. ред. С.Ф.Покропивного. - Вид. 2-ге, переробл. та доп. - К.: КНЕУ, 2001. - 528 с.

4. Жадан О.В., Кретова А.В., Сичов Г.М. Основи управління якістю: Навч.-метод. посібник. - Донецьк: «АПЕКС», 2004.-99с.

5. Лафта Дж. К. Эффективность менеджмента организации. - М.: Русская деловая литература, 2007.- 320 с.