Прогнозирование и риски

Реферат

По эконометрике

Эконометрика прогнозирования и риска

Методы социально-экономического прогнозирования

Кратко рассмотрим различные методы прогнозирования (предсказания, экстраполяции), используемые в социально-экономической области. По вопросам прогнозирования имеется большое число публикаций. Как часть эконометрики существует научная и учебная дисциплина "Математические методы прогнозирования". Ее целью является разработка, изучение и применение современных математических методов эконометрического (в частности, статистического, экспертного, комбинированного) прогнозирования социально-экономических явлений и процессов, причем методы должны быть проработаны до уровня, позволяющего их использовать в практической деятельности экономиста, инженера и менеджера. К основным задачам этой дисциплины относятся разработка, изучение и применение современных математико-статистических методов прогнозирования (в том числе непараметрических методов наименьших квадратов с оцениванием точности прогноза, адаптивных методов, методов авторегрессии и др.), развитие теории и практики экспертных методов прогнозирования, в том числе методов анализа экспертных оценок на основе статистики нечисловых данных, методов прогнозирования в условиях риска и комбинированных методов прогнозирования с использованием совместно экономико-математических и эконометрических (как статистических, так и экспертных) моделей. Теоретической основой методов прогнозирования являются математические дисциплины (прежде всего, теория вероятностей и математическая статистика, дискретная математика, исследование операций), а также экономическая теория, экономическая статистика, менеджмент, социология, политология и другие социально-экономические науки.

Как общепринято со времен основоположника научного менеджмента Анри Файоля, прогнозирование и планирование - основа работы менеджера. Сущность эконометрического прогнозирования состоит в описании и анализе будущего развития, в отличие от планирования, при котором директивным образом задается будущее движение. Например, вывод прогнозиста может состоять в том, что за час мы сможем отойти пешком от точки А не более чем на 5 км, а указание плановика - в том, что через час необходимо быть в точке Б. Ясно, что если расстояние между А и Б не более 5 км, то план реален (осуществим), а если более 10 км - не может быть осуществлен в заданных условиях. Необходимо либо отказаться от нереального плана, либо перейти на иные условия его реализации, например, двигаться не пешком, а на автомашине. Рассмотренный пример демонстрирует возможности и ограниченность методов прогнозирования. А именно, эти методы могут быть успешно применены при условии некоторой стабильности развития ситуации и отказывают при резких изменениях.

Один из вариантов применения методов прогнозирования - выявление необходимости изменений путем "приведения к абсурду". Например, если население Земли каждые 50 лет будет увеличиваться вдвое, то нетрудно подсчитать, через сколько лет на каждый квадратный метр поверхности Земли будет приходиться по 10000 человек. Из такого прогноза следует, что закономерности роста численности населения должны измениться.

Учет нежелательных тенденций, выявленных при прогнозировании, позволяет принять необходимые меры для их предупреждения, а тем самым помешать осуществлению прогноза.

Есть и самоосуществляющиеся прогнозы. Например, если в вечерней телевизионной передаче будет сделан прогноз о скором банкротстве определенного банка, то наутро многие вкладчики этого банка пожелают получить свои деньги, у входа в банк соберется толпа, а банковские операции придется остановить. Такую ситуацию журналисты описывают словами: "Банк лопнул". Обычно для этого достаточно, чтобы в один "прекрасный" (для банка) момент вкладчики пожелали изъять заметную долю (скажем, 30%) средств с депозитных счетов.

Прогнозирование - частный вид моделирования как основы познания и управления.

Роль прогнозирования в управлении страной, отраслью, регионом, предприятием очевидна. Необходимы учет СТЭП-факторов (социальных, технологических, экономических, политических), факторов конкурентного окружения и научно-технического прогресса, а также прогнозирование расходов и доходов предприятий и общества в целом (в соответствии с жизненным циклом продукции - во времени и по 11-и стадиям международного стандарта ИСО 9004). Проблемы внедрения и практического использования математических методов эконометрического прогнозирования связаны прежде всего с отсутствием в нашей стране достаточно обширного опыта подобных исследований, поскольку в течение десятилетий планированию отдавался приоритет перед прогнозированием.

Статистические методы прогнозирования.

Простейшие методы восстановления используемых для прогнозирования зависимостей исходят из заданного временного ряда, т.е. функции, определенной в конечном числе точек на оси времени. Задачам анализа и прогноза временных рядов посвящена глава 6 выше. Временной ряд при этом часто рассматривается в рамках вероятностной модели, вводятся иные факторы (независимые переменные), помимо времени, например, объем денежной массы (агрегат М2). Временной ряд может быть многомерным, т.е. число откликов (зависимых переменных) может быть больше одного. Основные решаемые задачи - интерполяция и экстраполяция. Метод наименьших квадратов в простейшем случае (линейная функция от одного фактора) был разработан К.Гауссом более двух столетий назад, в 1794-1795 гг. (см. главу 5). Могут оказаться полезными предварительные преобразования переменных.

Опыт прогнозирования индекса инфляции и стоимости потребительской корзины накоплен в Институте высоких статистических технологий и эконометрики. При этом оказалось полезным преобразование (логарифмирование) переменной - текущего индекса инфляции. Характерно, что при стабильности условий точность прогнозирования оказывалась достаточно удовлетворительной - 10-15 %. Однако спрогнозированное на осень 1996 г. значительное повышение уровня цен не осуществилось. Дело в том, что руководство страны перешло к стратегии сдерживания роста потребительских цен путем массовой невыплаты зарплаты и пенсий. Условия изменились - и статистический прогноз оказался непригодным. Влияние решений руководства Москвы проявилось также в том, что в ноябре 1995 г. (перед парламентскими выборами) цены в Москве упали в среднем на 9,5%, хотя обычно для ноября характерен более быстрый рост цен, чем в другие месяцы года, кроме декабря и января.

Наиболее часто используется метод наименьших квадратов при нескольких факторах (2-5). Метод наименьших модулей и другие методы экстраполяции применяются реже, хотя их статистические свойства зачастую лучше. Большую роль играет традиция и общий невысокий уровень знаний об эконометрических методах прогнозирования.

Оценивание точности прогноза - необходимая часть процедуры квалифицированного прогнозирования. При этом обычно используют вероятностно-статистические модели восстановления зависимости, например, строят наилучший прогноз по методу максимального правдоподобия. Разработаны параметрические (обычно на основе модели нормальных ошибок) и непараметрические оценки точности прогноза и доверительные границы для него (на основе Центральной Предельной Теоремы теории вероятностей). Так, нами предложены и изучены методы доверительного оценивания точки наложения (встречи) двух временных рядов и их применения для оценки динамики технического уровня собственной продукции и продукции конкурентов, представленной на мировом рынке.

Применяются также эвристические приемы, не основанные на какой-либо теории: метод скользящих средних, метод экспоненциального сглаживания.

Адаптивные методы прогнозирования позволяют оперативно корректировать прогнозы при появлении новых точек. Речь идет об адаптивных методах оценивания параметров моделей и об адаптивных методах непараметрического оценивания. Отметим, что с развитием вычислительных мощностей компьютеров проблема сокращения объемов вычисления теряет свое значение.

Многомерная регрессия, в том числе с использованием непараметрических оценок плотности распределения - основной на настоящий момент эконометрический аппарат прогнозирования. Подчеркнем, что нереалистическое предположение о нормальности погрешностей измерений и отклонений от линии (поверхности) регрессии использовать не обязательно. Однако для отказа от предположения нормальности необходимо опереться на иной математический аппарат, основанный на многомерной центральной предельной теореме теории вероятностей и эконометрической технологии линеаризации. Он позволяет проводить точечное и интервальное оценивание параметров, проверять значимость их отличия от 0 в непараметрической постановке, строить доверительные границы для прогноза.

Весьма важна проблема проверки адекватности модели, а также проблема отбора факторов. Дело в том, что априорный список факторов, оказывающих влияние на отклик, обычно весьма обширен, желательно его сократить, и крупное направление современных эконометрических исследований посвящено методам отбора "информативного множества признаков". Однако эта проблема пока еще окончательно не решена. Проявляются необычные эффекты. Так, в главе 5 установлено, что обычно используемые оценки степени полинома имеют геометрическое распределение. Перспективны непараметрические методы оценивания плотности вероятности и их применения для восстановления регрессионной зависимости произвольного вида. Наиболее общие постановки в этой области получены с помощью подходов статистики нечисловых данных (см. главу 8).

К современным статистическим методам прогнозирования относятся также модели авторегрессии, модель Бокса-Дженкинса, системы эконометрических уравнений, основанные как на параметрических, так и на непараметрических подходах.

Для установления возможности применения асимптотических результатов при конечных (т.н. "малых") объемах выборок полезны компьютерные статистические технологии (см. главу 11). Они позволяют также строить различные имитационные модели. Отметим полезность методов размножения данных (бутстреп-методов). Системы прогнозирования с интенсивным использованием компьютеров объединяют различные методы прогнозирования в рамках единого автоматизированного рабочего места прогнозиста.

Прогнозирование на основе данных, имеющих нечисловую природу, в частности, прогнозирование качественных признаков основано на результатах статистики нечисловых данных (см. главу 8). Весьма перспективными для прогнозирования представляются регрессионный анализ на основе интервальных данных, включающий, в частности, определение и расчет нотны и рационального объема выборки (см. главу 8), а также регрессионный анализ нечетких данных, разработанный в монографии [10]. Общая постановка регрессионного анализа в рамках статистики нечисловых данных и ее частные случаи - дисперсионный анализ и дискриминантный анализ (распознавание образов с учителем), давая единый подход к формально различным методам, полезна при программной реализации современных статистических методов прогнозирования.

Экспертные методы прогнозирования.

Необходимость и общее представление о применении экспертных методов прогнозирования при принятии решений на различных уровнях управления - на уровне страны, отрасли, региона, предприятия - вытекает из рассмотрений главы 12. Отметим большое практическое значение экспертиз при сравнении и выборе инвестиционных и инновационных проектов, при управлении проектами, экологических экспертиз. Роли лиц, принимающих решения (ЛПР), и специалистов (экспертов) в процедурах принятия решений, критерии принятия решений и место экспертных оценок в процедурах принятие решений рассмотрены выше. В качестве примеров конкретных экспертных процедур, широко используемых при прогнозировании, укажем метод Дельфи и метод сценариев. На их основе формируются конкретные процедуры подготовки и принятия решений с использованием методов экспертных оценок, например, процедуры распределения финансирования научно-исследовательских работ (на основе балльных оценок или парных сравнений), технико-экономического анализа, кабинетных маркетинговых исследований (противопоставляемых "полевым" выборочным исследованиям - см. главу 2), оценки, сравнения и выбора инвестиционных проектов.

В соотнесении с задачами прогнозирования напомним о некоторых аспектах планирования и организации экспертного исследования. Должны быть сформированы Рабочая группа и экспертная комиссия. Основные этапы проведения экспертного исследования рассмотрены в главе 12. Весьма ответственными этапами являются формирование целей экспертного исследования (сбор информации для ЛПР и/или подготовка проекта решения для ЛПР и др.) и формирование состава экспертной комиссии (методы списков (реестров), "снежного кома", самооценки, взаимооценки) с предварительным решением проблемы априорных предпочтений экспертов. Различные варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями ("мозговой штурм") или без ограничений) позволяют учесть специфику конкретного экспертного исследования. Компьютерное обеспечение деятельности экспертов и Рабочей группы, экономические вопросы проведения экспертного исследования важны для успешного проведения экспертного исследования.

Напомним, что экспертные оценки могут быть получены в различных математических формах. Наиболее часто используются количественные или качественные (порядковые, номинальные) признаки, бинарные отношения (ранжировки, разбиения, толерантности), интервалы, нечеткие множества, результаты парных сравнений, тексты и др. (см. главы 8 и 9) Основные понятия (репрезентативной) теории измерений: основные типы шкал, допустимые преобразования, адекватные выводы и др. - важны применительно к экспертному оцениванию. Необходимо использовать средние величины, соответствующие основным шкалам измерения. Применительно к различным видам рейтингов репрезентативная теория измерений позволяет выяснить степень их адекватности прогностической ситуации, предложить наиболее полезные для целей прогнозирования (см. главу 3).

Например, анализ рейтингов политиков по степени их влиятельности, публиковавшийся одной из известных центральных газет, показал, что из-за неадекватности используемого математического аппарата лишь первые 10 мест, возможно, имеют некоторое отношение к реальности (они не меняются при переходе к другому способу анализа данных, т.е. не зависят от субъективизма членов Рабочей группы), остальные - "информационный шум", попытки опираться на них при прогностическом анализе могут привести лишь к ошибкам. Что же касается начального участка рейтинга этой газеты, то он также может быть подвергнут сомнению, но по более глубоким причинам, например, связанным с составом экспертной комиссии.

Основными процедурами обработки прогностических экспертных оценок являются проверка согласованности, кластер-анализ и нахождение группового мнения.

Проверка согласованности мнений экспертов, выраженных ранжировками, проводится с помощью коэффициентов ранговой корреляции Кендалла и Спирмена, коэффициента ранговой конкордации Кендалла и Бэбингтона Смита. Используются параметрические модели парных сравнений - Терстоуна, Бредли-Терри-Льюса - и непараметрические модели теории люсианов (о люсианах см. главу 8). В главе 12 рассмотрена процедура согласования ранжировок и классификаций; построения согласующих бинарных отношений по ГОГ - методу (т. е. методу Горского-Орлова-Гриценко).

При отсутствии согласованности разбиение мнений экспертов на группы сходных между собой проводят методом ближайшего соседа или другими методами кластерного анализа (автоматического построения классификаций, распознавания образов без учителя). Классификация люсианов осуществляется на основе вероятностно-статистической модели.

Используют различные методы построения итогового мнения комиссии экспертов. Своей простотой выделяется метод средних рангов. Компьютерное моделирование (см. работу [11]) позволило установить ряд свойств медианы Кемени, часто рекомендуемой для использования в качестве итогового (обобщенного, среднего) мнения комиссии экспертов. Интерпретация закона больших чисел для нечисловых данных в терминах теории экспертного опроса такова: итоговое мнение устойчиво, т.е. мало меняется при изменении состава экспертной комиссии, и при росте числа экспертов приближается к "истине". При этом в соответствии с принятым в монографии [12] подходом предполагается, что ответы экспертов можно рассматривать как результаты измерений с ошибками, все они - независимые одинаково распределенные случайные элементы, вероятность принятия определенного значения убывает по мере удаления от некоторого центра - "истины", а общее число экспертов достаточно велико.

Проблемы применения методов прогнозирования в условиях риска.

Многочисленны примеры ситуаций, связанных с социальными, технологическими, экономическими, политическими, экологическими и другими рисками. Именно в таких ситуациях обычно и необходимо прогнозирование. Известны различные виды критериев, используемых в теории принятия решений в условиях неопределенности (риска). Из-за противоречивости решений, получаемых по различным критериям, очевидна необходимость применения оценок экспертов.

В конкретных задачах прогнозирования необходимо провести классификацию рисков, поставить задачу оценивания конкретного риска, провести структуризацию риска, в частности, построить деревья причин (ы другой терминологии, деревья отказов) и деревья последствий (деревья событий). Центральной задачей является построение групповых и обобщенных показателей, например, показателей конкурентоспособности и качества. Риски необходимо учитывать при прогнозировании экономических последствий принимаемых решений, поведения потребителей и конкурентного окружения, внешнеэкономических условий и макроэкономического развития России, экологического состояния окружающей среды, безопасности технологий, экологической опасности промышленных и иных объектов. Метод сценариев незаменим применительно к анализу технических, экономических и социальных последствий аварий.

Имеется некоторая специфика применения методов прогнозирования в ситуациях, связанных с риском. Велика роль функции потерь и методов ее оценивания, в том числе в экономических терминах. В конкретных областях используют вероятностный анализ безопасности (для атомной энергетики) и другие специальные методы. Эконометрике риска посвящен ряд дальнейших разделов настоящей главы.

Современные компьютерные технологии прогнозирования.

Перспективны интерактивные методы прогнозирования с использованием баз эконометрических данных, имитационных (в том числе на основе применения метода Монте-Карло, т.е. метода статистических испытаний) и экономико-математических динамических моделей, сочетающих экспертные, статистические и моделирующие блоки. Обратим внимание на сходство и различие методов экспертных оценок и экспертных систем. Можно сказать, что экспертная система моделирует поведение эксперта путем формализации его знаний по специальной технологии. Но интуицию "живого эксперта" нельзя заложить в ЭВМ, а при формализации мнений эксперта (фактически - при его допросе) наряду с уточнением одних его представлений происходит и огрубление других. Другими словами, при использовании экспертных оценок непосредственно обращаются к опыту и интуиции высококвалифицированных специалистов, а при применении экспертных систем имеют дело с компьютерными алгоритмами расчетов и выводов, при создании которых когда-то давно привлекались эксперты как источник данных и типовых заключений.

Обратим внимание на возможность использования в прогнозировании производственных функций, статистически описывающих связь выпуска с факторами производства, на различные способы учета научно-технического прогресса, в частности, на основе анализа трендов и с помощью экспертного выявления точек роста. Примеры экономических прогнозов всех видов имеются в литературе. К настоящему времени разработаны компьютерные системы и программные средства комбинированных методов прогнозирования. Одна из первых таких систем была создана в 70-е годы в ИМЭМО АН СССР под руководством С.А.Петровского.

Основные идеи технологии сценарных экспертных прогнозов

Как уже отмечалось в пункте 14.1, социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Объективно имеются точки выбора (фуркации), после которых рассматриваемое прогнозистами развитие может пойти по одному из нескольких возможных путей (эти пути и называют обычно сценариями). Выбор может делаться на разных уровнях - конкретной личностью (перейти на другую работу или остаться), менеджером (выпускать ту или иную марку продукции), конкурентами (сотрудничество или борьба), властными структурами (выбор той или иной системы налогообложения), населением страны (выбор президента), "международным сообществом" (вводить или нет санкции против России).

Рассмотрим пример. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии социально-экономических событий можно было говорить лишь в терминах сценариев: если победит Б.Н. Ельцин, то будет то-то и то-то, если победит Г.А. Зюганов, то события пойдут так-то и так-то.

Например, работа [13] имела целью прогноз динамики валового внутреннего продукта (ВВП) на 9 лет (1999-2007). При ее проведении было ясно, что за это время произойдут различные политические события, в частности, по крайней мере два цикла парламентских и президентских выборов (при условии сохранения нынешней политической структуры), результаты которых нельзя предсказать однозначно. Поэтому прогноз динамики ВВП мог быть сделан лишь по отдельности для каждого сценария из некоторой гаммы, охватывающей возможные пути социально-экономической динамики России.

Метод сценариев необходим не только в социально-экономической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, техническими, экономическими и социальными последствиями, возможностями предупреждения.

Таким образом, метод сценариев - это метод декомпозиции (разделения на части) задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

- построение исчерпывающего, но обозримого набора сценариев;

- прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций принятия решений, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям и расчетам.

Для построения исчерпывающего, но обозримого набора сценариев необходимо предварительно проанализировать динамику социально-экономического развития рассматриваемого экономического агента и его окружения. Корни будущего - в настоящем и прошлом, причем зачастую - в весьма далеком прошлом. Кроме макроэкономических и микроэкономических характеристик, известных лишь с погрешностями, которые нельзя считать случайными или малыми, необходимо учитывать состояние и динамику отечественного массового сознания, политических, в то числе внешнеполитических реалий, поскольку на обычно рассматриваемом интервале времени (до 10 лет) экономика зачастую следует за политикой, а не наоборот.

Так, например, к началу 1985 г. экономика СССР находилась в достаточно стабильном состоянии с ежегодным ростом в среднем 3-5%. Если бы руководство страны находилось в руках иных людей, то развитие продолжалось бы в прежних условиях и к концу тысячелетия ВВП СССР увеличился бы на 50% и составил бы примерно 150 % от уровня 1985 г. Реально же из-за политических причин ВВП России за эти 15 лет упал примерно в 2 раза, т.е. составил около 50 % по сравнению с 1985 г., или в 3 раза меньше, чем можно было бы ожидать из чисто экономических причин при сохранении стабильных условий 1985 г.

Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события - прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д.

Само по себе создание набора сценариев - предмет экспертного исследования, проводимого в соответствии с описанной выше методологией. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария. Ясно, что эти оценки не являются надежными.

Часто используют упрощенный подход к прогнозированию методом сценариев. А именно, формулируют три сценария - оптимистический, вероятный и пессимистический. При этом для каждого из сценариев достаточно произвольно выбирают значения параметров, описывающих производственно-экономическую ситуацию (по-английски - case). Цель такого подхода - рассчитать интервалы разброса для характеристик и "коридоры" для временных рядов, интересующих исследователя (и заказчика исследования). Например, прогнозируют финансовый поток (по-английски - cash flow) и чистую текущую стоимость (по-английски - net present value или NPV) инвестиционного проекта.

Ясно, что такой упрощенный подход не может дать максимального или минимального значения характеристики, он дает лишь представление о порядке количественной меры разброса. Однако его развитие приводит к байесовской постановке в теории принятия решений. Например, если сценарий описывается элементом конечномерного евклидова пространства, то любое вероятностное распределение на множестве исходных параметров преобразуется в распределение интересующих исследователя характеристик. Расчеты могут быть проведены с помощью современных информационных технологий метода статистических испытаний. Надо в соответствии с заданным распределением на множестве параметров выбирать с помощью датчика псевдослучайных чисел конкретный вектор параметров и рассчитывать для него итоговые характеристики. В результате получится эмпирическое распределение на множестве итоговых характеристик, которое можно разными способами анализировать, находить оценку математического ожидания, разброса и др. Остается только неясным, как задавать распределение на множестве параметров. Естественно, для этого можно использовать экспертов.

Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому обычно предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

Вопрос об использовании результатов прогнозирования относится не к эконометрике, а к смежной науке - теории принятия решений. Как известно, при принятии решений на основе анализа ситуации, в том числе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

Итак, рассмотрена концепция современной методики экспертного оценивания методом сценариев. Она использовалась, например, для прогнозирования социально-экономического развития России (см. работу [13]).

Различные виды рисков

Будущее нам неизвестно. А потому неизвестны и будущие доходы и расходы, мы можем лишь прогнозировать их с той или иной степенью уверенности. Как описывать неопределенность будущего? Чем мы рискуем и что вообще понимать под "риском"? Как отражается неопределенность будущего на финансовых потоках (потоках платежей и поступлений), их характеристиках и выводах об эффективности управляющих воздействий на те или иные экономические процессы и других решениях? Как уменьшить возможные потери и защититься от рисков?

Чтобы управлять рисками, надо сначала знать риски. Поскольку на деятельность любой организации непосредственно либо потенциально влияют риски различной природы, необходима классификация рисков. Возможно, для различных целей понадобятся различные классификации, основанные на различных методологических принципах.

Для построения такой классификации необходимо какой-либо упорядочивающий принцип. Возьмем за основу движение от частного к общему. Тогда естественно выделить:

производственные риски, связанные непосредственно с деятельностью предприятия;

коммерческие риски, вызванные неполной предсказуемостью динамики рынка, т.е. действий потребителей и конкурентов;

финансовые риски, определяемые макроэкономической ситуацией;

риски, возникающие на уровне государства и Земли в целом.

Затем необходимо изучить степень их влияния на показатели эффективности деятельности организации с целью выделения наиболее значимых.

После этого целесообразно провести изучение различных способов оценки финансовых и иных рисков в случаях, когда они моделируются с помощью тех или иных математических структур. В частности, распространено моделирование рисков с помощью вероятностей и случайных величин. При этом используются такие характеристики случайной величины, как математическое ожидание, дисперсия, квантили, коэффициент вариации, линейные комбинации математического ожидания и среднего квадратического отклонения и др. Подчеркнем, что эти характеристики следует рассматривать в непараметрической постановке, поскольку нет никаких оснований предполагать, что распределение характеристики риска входит в то или иное из известных параметрических семейств.

Перспективной представляется разработка методов описания рисков с помощью теории нечетких множеств, лингвистических переменных, качественных признаков, интервальных математических и эконометрических моделей и др.

Существенно, что описание может быть многомерным. Например, каждая координата может соответствовать своему виду воздействия (нарушения, происшествия) и описываться количественным либо качественным признаком. Тогда дополнительно возникает задача агрегирования (сведения вместе) показателей риска. Для агрегирования могут быть использованы различные методы, разработанные в теории оценки технического уровня и в теории экспертных оценок.

Следующий этап - разработка методологии применения различных методов управления рисками с использованием экспертных оценок, современных методов прогнозирования, эконометрических и экономико-математических моделей с целью повышения эффективности деятельности организации в условиях риска. При этом необходимо научиться практически решать проблему многокритериальности (согласования оценок рисков, полученных по различным основаниям, с целью эффективного управления риском).

К настоящему времени накоплена огромная литература по вопросам риска, как общая, например, теория статистического риска, так и по отдельным вопросам - по экологическим рискам, статистическим методам обеспечения качества, финансовым рискам и др.

Производственные риски.

К ним можно прежде всего отнести риски, связанные с выпуском дефектной продукции. Хорошо известно, что при массовом производстве невозможно обеспечить выпуск продукции без дефектов. Поэтому действуют отделы технического контроля (ОТК), службы (бюро) качества и другие подразделения, осуществляющие контроль качества продукции. Известно, что в машиностроении стоимость контрольных операций составляет в среднем около 10% от стоимости продукции. Часть риска компенсируется службами технического обслуживания продукции, уже находящейся у потребителя. Постоянно используемыми терминами в этой области являются «риск поставщика» и «риск потребителя». Вопросам управления качеством посвящена обширная литература (см. главу 13). Одна из важных групп показателей качества - надежность.

Другой вид рисков связан с осуществлением действующих технологических процессов. Речь идет об авариях различной степени тяжести, от незначительных нарушений технологических процессов до катастроф с человеческими жертвами. Здесь целесообразно обратить внимание на экологические риски, в частности, связанные с аварийными сбросами в реки технологических жидкостей, выбросами в атмосферу газов и взвешенных частиц и др. За подобные действия предприятия обычно обязаны платить штрафы согласно предписаниям экологических органов.

Отметим риски, относящиеся к проектируемым продукции или технологическим процессам. Они могут быть связаны с ошибками разработчиков или физической невозможностью осуществления того или иного процесса. Так, в течение всей второй половины ХХ века физики постоянно говорили о появлении в ближайшее время неиссякаемого источника энергии на основе преобразования тяжелой воды с помощью управляемого термоядерного синтеза. Эта пропаганда, несомненно, сдерживала финансирование и развитие ресурсосберегающих технологий. Еще в начале ХХ в. Д.И. Менделеев говорил, что сжигать нефть - это то же самое, что топить печь ассигнациями. Тем не менее и сейчас нефть используют как топливо, разведанных запасов остается все меньше. Излишний оптимизм физиков нам всем еще дорого обойдется.

Среди производственных рисков есть и социальные, связанные с теми или иными конфликтами. Здесь надо разделять конфликты между службами (отделами, цехами), с которыми можно бороться, оптимизируя организационную структуру предприятия; различного происхождения конфликты между менеджерами высшего звена; конфликты между профсоюзами и администрацией по поводу заработной платы или условий труда, и др. Современные методы управления персоналом позволяют заранее спрогнозировать многие из таких конфликтов и предложить пути их разрешения.

Коммерческие риски.

Речь идет о рисках, связанных с неопределенностью будущей рыночной ситуации в стране. В частности, о будущих действий поставщиков в связи с меняющимися предпочтениями потребителей. Напомним, например, о быстрых изменениях на рынке вычислительной техники в связи с появлением персональных компьютеров. Мода в той или иной степени отражается на поведении потребителей во многих областях.

Весьма существенны риски, связанные с деятельностью партнеров организации - участников экономической жизни (в том числе их законопослушностью как налогоплательщиков), в частности, с их деловой активностью, финансовым положением, отношением к соблюдению обязательств. Особенно надо отметить роль конкурентного окружения, от действий которого зависит многое в судьбе конкретного предприятия. В частности, важны информационные риски, связанные с промышленным шпионажем и возможностями проникновения конкурентов в коммерческие тайны и иного воздействия на внутренние дела организации, в частности, через компьютерные сети типа Интернет.

К этому же типу можно отнести риски, связанные с социальными и административными факторами в конкретных регионах, с взаимоотношениями рассматриваемой организации с органами местной и региональной власти, как официальными, так и криминальными.

Финансовые риски.

Отметим прежде всего риски, связанные с колебаниями цен на товары и услуги (динамикой инфляции), ставки рефинансирования Центрального банка, норм банковских процентов по кредитам и депозитам, валютных курсов и других макроэкономических показателей, в том числе котировок государственных и частных (корпоративных) ценных бумаг. Часть этих рисков носит объективный, а часть - число спекулятивный характер. К этому же разделу можно отнести риски, связанные с нестабильностью законодательства и текущей экономической политики (т.е. с деятельностью руководства страны, министерств и ведомств). Дополнительные проблемы создает множественность нормативно-правовых актов, регулирующих хозяйственно-экономическую деятельность организации (порядка 10⁴ , если считать не только федеральные нормативно-правовые акты, но и нормативно-правовые акты субъектов федерации, например, г. Москвы), зачастую противоречащих друг другу, что вызывает необходимость в участии в работе организации юристов, в том числе в судебных процессах.

Риски, возникающие на уровне государства и Земли в целом.

К этому типу отнесем риски, связанные с политической ситуацией в целом, действиями партий, профсоюзов, экологических и других организаций в масштабе страны. Типичным примером являются риски, связанные с заметным изменением курса страны в результате тех или иных выборов. Другой пример - российский кризис, начавшийся в августе 1998 г. и непосредственно вызванный решением трех чиновников. Большое значения имеют риски, связанные с социальной борьбой («рельсовая война», забастовки, массовые столкновения, терроризм, и др.)…

Внешнеэкономические риски, например, связанные с динамикой цены на нефть, крупномасштабными зарубежными финансовыми (в Юго-Восточной Азии) или военными (Югославия) кризисами и т.д., могут оказать существенное воздействие на рассматриваемую организацию (предприятие).

Большое число рисков связано с природными явлениями. Их можно объединить под именем «экологические». К ним относятся, в частности, риски, связанные с неопределенностью ряда природных явлений. Типичным примером является погода, от которой зависят урожайность (а потому и цены на сельскохозяйственные товары), расходы на отопление и уборку улиц, доходы от туризма и др. Обратим внимание на риски, связанные с недостаточными знаниями о природе (например, нам неизвестен точный объем полезных ископаемых в том или ином месторождении, а потому мы не можем точно предсказать развитие добывающей промышленности и объем налоговых поступлений от ее предприятий). Нельзя забывать о рисках экологических бедствий и катастроф, типа ураганов, смерчей, землетрясений, цунами, селей и др.

Каждый из перечисленных видов рисков может быть структуризован далее. Так, имеются крупные развернутые разработки по анализу рисков технологических аварий, в частности, на химических производствах и на атомных электростанциях (соответствующая теория именуется ВАБ - вероятностный анализ безопасности). Ясно, что аварии типа Чернобыльской существенно влияют на значения СТЭП-факторов (принятое сокращение для комплекса социальных, технологических, экономических и политических факторов, действующих на организацию) и тем самым на поступления и выплаты из бюджета как на местном, так и на федеральном уровне (что существенно, если «организация» - это муниципальный или государственный орган власти или его подразделение типа налоговой инспекции).

Подходы к учету неопределенности и описанию рисков.

В настоящее время при компьютерном и математическом моделировании для описания неопределенностей чаще всего используют такие математические средства, как:

- вероятностно-статистические методы,

- методы статистики нечисловых данных, в том числе интервальной статистики и интервальной математики, а также методы теории нечеткости,

- методы теории конфликтов (теории игр).

Они применяются в имитационных, эконометрических, экономико-математических моделях, реализованных обычно в виде программных продуктов.

Некоторые виды неопределенностей связаны с безразличными к организации силами - природными (погодные условия) или общественными (смена правительства). Если явление достаточно часто повторяется, то его естественно описывать в вероятностных терминах. Так, прогноз урожайности зерновых вполне естественно вести в вероятностных терминах. Если событие единично, то вероятностное описание вызывает внутренний протест, поскольку частотная интерпретация вероятности невозможна. Так, для описания неопределенности, связанной с исходами выборов или со сменой правительства, лучше использовать методы теории нечеткости, в частности, интервальной математики (интервал - удобный частный случай описания нечеткого множества). Наконец, если неопределенность связана с активными действиями соперников или партнеров, целесообразно применять методы анализа конфликтных ситуаций, т.е. методы теории игр, прежде всего антагонистических игр, но иногда полезны и более новые методы кооперативных игр, нацеленных на получение устойчивого компромисса.

Подходы к оцениванию рисков.

Понятие "риск", как уже отмечалось, многогранно. Например, при использовании статистических методов управления качеством продукции риски - это вероятности некоторых событий (в статистическом приемочном контроле риск поставщика - это вероятность забракования партии продукции хорошего качества, а риск потребителя - приемки "плохой" партии; при статистическом регулировании процессов рассматривают риск незамеченной разладки и риск излишней наладки). Тогда оценка риска - это оценка вероятности, точечная или интервальная, по статистическим данных или экспертная. В таком случае для управления риском задают ограничения на вероятности нежелательных событий. Иногда под уменьшением риска понимают уменьшение дисперсии случайной величины, поскольку при этом уменьшается неопределенность. В теории принятия решений риск - это плата за принятие решения, отличного от оптимального, он обычно выражается как математическое ожидание. В экономике плата измеряется обычно в денежных единицах, т.е. в виде финансового потока (потока платежей и поступлений) в условиях неопределенности.

Методы математического моделирования позволяют предложить и изучить разнообразные методы оценки риска. Широко применяются два вида методов - статистические, основанные на использовании эмпирических данных, и экспертные, опирающиеся на мнения и интуицию специалистов.

Чтобы продемонстрировать сложность проблемы оценивания риска и различные существующие подходы, рассмотрим простейший случай. Пусть неопределенность носит вероятностный характер, а потери описываются случайной величиной (не вектором и не процессом). Тогда минимизация риска может состоять:

1) в минимизации математического ожидания (ожидаемых потерь),

2) в минимизации квантиля распределения (например, медианы функции распределения потерь или квантиля порядка 0,99, выше которого располагаются большие потери, встречающиеся крайне редко - в 1 случае из 100),

3) в минимизации дисперсии (т.е. показателя разброса возможных значений потерь),

4) в минимизации суммы математического ожидания и утроенного среднего квадратического отклонения (на основе известного "правила трех сигм"), или иной линейной комбинации математического ожидания и среднего квадратического отклонения (используют в случае близости распределения потерь к нормальному как комбинацию подходов, нацеленных на минимизацию средних потерь и разброса возможных значений потерь),

5) в максимизации математического ожидания функции полезности (в случае, когда полезность денежной единицы меняется в зависимости от общей располагаемой суммы, как предполагается в учебном пособии по микроэкономике [14], в частности, когда необходимо исключить возможность разорения экономического агента), и т.д.

Обсудим пять перечисленных постановок. Первая из них - минимизация средних потерь - представляется вполне естественной, если все возможные потери малы по сравнению с ресурсами предприятия. В противном случае первый подход неразумен. Рассмотрим условный пример. У человека имеется 10000 рублей. Ему предлагается подбросить монету. Если выпадает «орел», то он получает 50000 рублей. Если же выпадает «цифра», он должен уплатить 20000 рублей. Стоит ли данному человеку участвовать в описанном пари? Если подсчитать математическое ожидание дохода, то, поскольку каждая сторона монеты имеет одну и ту же вероятность выпасть, равную 0,5, оно равно 50000 х 0,5 + (-20000) х 0,5 = 15000. Казалось бы, пари весьма выгодно. Однако большинство людей на него не пойдет, поскольку с вероятностью 0,5 они лишатся всего своего достояния и останутся должны 10000 рублей, другими словами, разорятся. Здесь проявляется психологическая оценка ценности рубля, зависящая от общей имеющейся суммы - 10000 рублей для человека с обычным доходом значит гораздо больше, чем те же 10000 руб. для миллиардера.

Второй подход нацелен как раз на минимизацию больших потерь, на защиту от разорения. Другое его применение - исключение катастрофических аварий, например, типа Чернобыльской. При втором подходе средние потери могут увеличиться (по сравнению с первым), зато максимальные будут контролироваться.

Третий подход нацелен на минимизацию разброса окончательных результатов. Средние потери при этом могут быть выше, чем при первом, но того, кто принимает решение, это не волнует - ему нужна максимальная определенность будущего, пусть даже ценой повышения потерь.

Четвертый подход сочетает в себе первый и третий, хотя и довольно примитивным образом. Проблема ведь в том, что управление риском в рассматриваемом случае - это по крайней мере двухкритериальная задача - желательно средние потери снизить (другими словами, математическое ожидание доходов повысить), и одновременно уменьшить показатель неопределенности - дисперсию. Хорошо известны проблемы, возникающие при многокритериальной оптимизации.

Наиболее продвинутый подход - пятый. Но для его применения необходимо построить функцию полезности. Это - большая самостоятельная задача. Обычно ее решают с помощью специально организованного эконометрического исследования.

Если неопределенность носит интервальный характер, т.е. описывается интервалами, то естественно применить методы статистики интервальных данных (как части интервальной математики), рассчитать минимальный и максимальный возможный доходы и потери, и т.д.

Разработаны различные способы уменьшения экономических рисков, связанные с выбором стратегий поведения, в частности, диверсификацией, страхованием и др. Причем эти подходы относятся не только к отдельным организациям. Так, применительно к системам налогообложения диверсификация означает использование не одного, а системы налогов, чтобы нейтрализовать действия налогоплательщиков, нацеленные на уменьшение своих налоговых платежей. Однако динамика реальных экономических систем такова, что любые формальные модели дают в лучшем случае только качественную картину. Например, не существует математических моделей, позволяющих достаточно точно спрогнозировать инфляцию вообще и даже реакцию экономики на одноразовое решение типа либерализации цен.

Необходимость применения экспертных оценок при оценке и управлении рисками.

Из сказанного выше вытекает, что разнообразные формальные методы оценки рисков и управления ими во многих случаях (реально во всех нетривиальных ситуациях) не могут дать однозначных рекомендаций. В конце процесса принятия решения - всегда человек, менеджер, на котором лежит ответственность за принятое решение.

Поэтому процедуры экспертного оценивания естественно применять не только на конечном, но и на всех остальных этапах анализа рассматриваемого организацией проекта, используя при этом весь арсенал теории и практики экспертных оценок.

При этом нецелесообразно полностью отказываться от использования формально-экономических методов, например, основанных на вычислении чистых текущих (приведенных, дисконтированных) потерь и других характеристик. Использование соответствующих программных продуктов полезно для принятия обоснованных решений. Однако нельзя абсолютизировать формально-экономические методы. На основные вопросы типа: достаточно ли высоки доходы, чтобы оправдать риск, или: что лучше - быстро, но мало, или долго, но много - ответить могут только менеджеры с помощью экспертов.

Поэтому система поддержки принятия решений в организации должна сочетать формально-экономические и экспертные процедуры.

Разработка системы поддержки принятия решений в организации, нацеленной на оценивание рисков и управление ими - не простое дело. Укажем несколько проблем, связанных с подобной работой. Совершенно ясно, что система должна быть насыщена конкретными численными данными об экономическом состоянии региона, страны, возможно и мира в целом. Добыть такие данные нелегко, в частности, потому, что сводки Российского статистического агентства (ранее - Госкомстата РФ) искажены (подробнее о состоянии теории и практики статистики в России см. главу 1 и статью [15]). В частности, мы занялись изучением инфляции именно потому, что наши данные по этому показателю превышали данные Госкомстата РФ примерно в 2 раза (см. главу 7). Зарубежные источники типа учебного пособия [16] также содержат неточности. Так при составлении балансовых соотношений для макроэкономических показателей по данным [16] выяснилось, что государство должно иметь дополнительный источник доходов в несколько сотен миллиардов долларов, а доходы бизнеса имеют излишек в 30 миллиардов долларов. Другими словами, популярное учебное пособие [16] содержит данные, не согласующиеся друг с другом. Ошибка ли это авторов или сознательная фальсификация с целью скрыть от читателей характеристики американской экономики - не будем здесь обсуждать.

При решении рассматриваемых вопросов могут оказаться полезными известные публикации по методам учета финансового риска [17, 18]. При использовании широкого арсенала статистических методов необходимо учитывать особенности их развития в России и СССР, наложившие свой отпечаток на современное состояние в области кадров и литературных источников.

Подходы к управлению рисками

Чтобы управлять, надо знать цель управления и иметь возможность влиять на те характеристики риска, которые определяют степень достижения цели.

Обычно можно выделить множество допустимых управляющих воздействий, описываемое с помощью соответствующего множества параметров управления. Тогда указанная выше возможность влиять на те характеристики риска, которые определяют степень достижения цели, формализуется как выбор значения управляющего параметра. При этом управляющий параметр может быть числом, вектором, быть элементом конечного множества или иметь более сложную математическую природу.

Основная проблема - корректная формулировка цели управления рисками. Поскольку существует целый спектр различных характеристик риска (например, если потери от риска моделируются случайной величиной), то оптимизация управления риском сводится к решению задачи многокритериальной оптимизации. Например, естественной является задача одновременной минимизации среднего ущерба (математического ожидания ущерба) и разброса ущерба (дисперсии ущерба).

Как известно, для любой многокритериальной задачи целесообразно рассмотреть множество решений (т.е. значений параметра управления), оптимальных по Парето. Эти решения оптимальны в том смысле, что не существует возможных решений, которые бы превосходили бы Парето-оптимальные решения одновременно по всем критериям. Точнее, превосходили бы хотя бы по одному критерию, а по остальным были бы столь же хорошими. Теория Парето - оптимальных решений хорошо развита (см., например, монографию [19]).

Ясно, что для практической реализации надо выбирать одно из Парето - оптимальных решений. Как выбирать? Разработан целый спектр подходов, из которых выбор может быть сделан только субъективным образом. Таким образом, снова возникает необходимость применения методов экспертных оценок.

Эксперты могут выбирать непосредственно из множества Парето - оптимальных решений, если оно состоит лишь из нескольких элементов. Или же они могут выбирать ту или иную процедуру сведения многокритериальной задачи к однокритериальной.

Как пытаются решать многокритериальные задачи? Один из подходов - выбрать т.н. «главный критерий», по которому проводить оптимизацию, превратив остальные критерии в ограничения. Например, минимизировать средний ущерб, потребовав, чтобы дисперсия ущерба не превосходила заданной величины.

Иногда задача многокритериальной оптимизации допускает декомпозицию. Найдя оптимальное значение для главного критерия, можно рассмотреть область возможных значений для остальных критериев, выбрать из них второй по важности и оптимизировать по нему, и т.д.

Что же делают эксперты? Они выбирают главный критерий (или упорядочивают критерии по степени важности), задают численные значения ограничений, иногда точность или время вычислений.

Второй основной подход - это свертка многих критериев в один интегральный и переход к оптимизации по одному критерию. Например, рассматривают линейную комбинацию критериев. Строго говоря, метод «главного критерия» - один из вариантов свертки, в котором вес главного критерия равен 1, а веса остальных - 0. Построение свертки, в частности, задание весов, целесообразно осуществлять экспертными методами.

Используют также методы, основанные на соображениях устойчивости (наиболее общий подход к изучению устойчивости рассмотрен в монографии [12]). При этом рассматривают область значений управляющих параметров, в которых значение оптимизируемого одномерного критерия (главного параметра или свертки) отличается от оптимального не более чем на некоторую заданную малую величину. Такая область может быть достаточно обширной. Например, если в линейном программировании одна из граней многогранника, выделенного ограничениями, почти параллельна плоскости равных значений оптимизируемого критерия, то вся эта грань войдет в рассматриваемую область. В выделенной области можно провести оптимизацию другого параметра, и т.д. При таком подходе эксперты выбирают допустимое отклонение для основного критерия, выделяют второй критерий, задают ограничения и т.д.

Отметим, что рассмотренные выше вероятностно-статистические подходы к оцениванию рисков предполагают использование в качестве критериев таких характеристик случайной величины, как математическое ожидание, медиана, квантили, дисперсия и др. Эти характеристики определяются функцией распределения случайного ущерба, соответствующего рассматриваемому риску. При практическом использовании этого подхода перечисленные характеристики оцениваются по статистическим данным. Они оцениваются по выборке, состоящей из наблюденных величин ущерба. Согласно правилам главы 4 при этом необходимо вычислять доверительные интервалы, содержащие оцениваемые теоретические характеристики с заданной доверительной вероятностью. Таким образом, критерий, на использовании которого основана оптимизация, всегда определен лишь с некоторой точностью, а именно, лишь с точностью до полудлины доверительного интервала. Таким образом, мы приходим к постановке, рассмотренной в предыдущем абзаце.

Необходимо обратить внимание на существенное изменение ситуации в области вычислительной оптимизации за последние 40 лет. Если в 1960-е годы из-за маломощности тогдашних компьютеров большое значение имела разработка быстрых методов счета, то в настоящее время внимание переносится на постановки задач и интерпретацию результатов. По нашим наблюдениям, это объясняется не только наличием различных программных продуктов по оптимизации, но и тем, что почти любую практическую задачу оптимизации можно решить простейшими методами типа переборных (перебирая возможные значения управляющих параметров с маленьким шагом), либо методом случайного поиска, поскольку быстродействие современных компьютеров позволяет это сделать.

Используемая литература

1. Бестужев-Лада И.В. Окно в будущее: Современные проблемы социального прогнозирования. - М.: Мысль, 1970. - 269 с.

2. Гаврилец Ю.Н. Социально-экономическое планирование: Системы и модели. - М.: Экономика, 1974. - 174 с.

3. Загоруйко Н.Г. Эмпирическое предсказание. - Новосибирск: Наука, 1979. - 124 с.

4. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975.

5. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: ИМЭМО АН СССР, 1990. - 196 с.

6. Тейл Г. Эконометрические прогнозы и принятие решений. - М.: Статистика, 1971. - 488 с.

7. Френкель А.А. Математические методы анализа динамики и прогнозирования производительности труда. - М.: Экономика, 1972. - 190 с.

8. Четыркин Е.М. Статистические методы прогнозирования. - М.: Статистика, 1977.

9. Янч Э. Прогнозирование научно-технического прогресса. - М.: Прогресс, 1990. - 568 с.

10. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.

11. Жихарев В.Н., Орлов А.И. Законы больших чисел и состоятельность статистических оценок в пространствах произвольной природы. - В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Изд-во Пермского государственного университета, 1998. С.65-84.

12. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

13. Орлов А.И. Сценарии социально-экономического развития России до 2007 г. - Журнал «Обозреватель-Observer». 1999. No.10 (117). С.47-50.

14. Пиндайк Р., Рубинфельд Д. Микроэкономика. - М.: "Экономика" - "Дело", 1992.

15. Орлов А.И. О перестройке статистической науки и ее применений - Вестник статистики, 1990, № 1, с.65-71.

16. Макконнелл К.Р., Брю С.Л. Экономикс: Принципы, проблемы и политика. В 2 т.: Пер. с англ. 11-го изд. - М.: Республика, 1992.

17. Первозванский А.А., Первозванская Т.Н. Финансовый рынок: расчет и риск. - М.: Инфра-М, 1994.

18. Четыркин Е.М. Методы экономических расчетов. - М.: Гамма, 1992.

19. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. - М.: Наука, 1982.