Реферат
Современные эконометрические методы
Оразвитии эконометрических методов
Современноесостояние в эконометрике, как и в других областях, определяется прошлым. Краткорассмотрим историю эконометрики и прикладной статистики, начав с ихпрактической пользы.
Чтодает прикладная статистика народному хозяйству? Такназывалась статья [1], в которой приводились многочисленные примеры успешногоиспользования методов эконометрики и прикладной математической статистики прирешении практических задач. Обширный перечень примеров приведен в предыдущихглавах настоящей книги. Его можно продолжать практически безгранично. Так, влюбом номере журнала «Заводская лаборатория» есть работы, в которыхте или иные методы эконометрики и прикладной статистики применяются для решенияприкладных технико-экономических задач.
Поэтомубесспорно совершенно, что методы эконометрики и прикладной статистики успешноприменяются в различных отраслях народного хозяйства, практически во всехобластях науки. Согласно докладу [2], в 1988 г. затраты в СССР настатистический анализ данных оценивались в 2 миллиарда рублей ежегодно.
Большаяпрактическая значимость эконометрики и прикладной статистики, особенно вэкономике, менеджменте, технических исследованиях и разработках, оправдываетцелесообразность развития их методологии, в которых эти области научной иприкладной деятельности рассматривалась бы как целое, «с высоты птичьегополета». Чтобы иметь возможность обсуждения тенденций развитияэконометрики и статистических методов в XXIвеке, необходимо хотя бы кратко рассмотреть их историю.
Обистории эконометрики и прикладной статистики. Типовые примерыраннего этапа применения статистических методов описаны в Ветхом Завете (см.,например, Книгу Чисел). С математической точки зрения они сводились к подсчетамчисла попаданий значений наблюдаемых признаков в определенные градации. Вдальнейшем результаты стали представлять в виде таблиц и диаграмм, как это исейчас делают Госкомстат РФ (Российское статистическое агентство). Надопризнать, что по сравнению с Ветхим Заветом есть прогресс — в Библии не былотаблиц. Однако нет продвижения по сравнению с работами российских статистиковконца девятнадцатого — начала двадцатого века (типовой монографией тех временможно считать книгу [3], которая в настоящее время ещё легко доступна).
Сразупосле возникновения теории вероятностей (Паскаль, Ферма, 17 век) вероятностныемодели стали использоваться при обработке статистических данных. Например,изучалась частота рождения мальчиков и девочек, было установлено отличиевероятности рождения мальчика от 0.5, анализировались причины того, что впарижских приютах эта вероятность не та, что в самом Париже, и т.д. Имеетсядостаточно много публикаций по истории теории вероятностей, однако в некоторыхиз них имеются неточные утверждения, что заставило одного из крупнейших ученыхХХ в. академика Украинской АН Б.В. Гнеденко включить в очередное издание своегокурса [4] главу по истории математики случайного.
В1794 г. (по другим данным — в 1795 г.) К. Гаусс разработал метод наименьшихквадратов, один из наиболее популярных ныне статистических методов (см. главу 5выше), и применил его при расчете орбиты астероида Церера — для борьбы сошибками астрономических наблюдений. В Х1Х веке заметный вклад в развитиепрактической статистики внес бельгиец А. Кетле, на основе анализа большогочисла реальных данных показавший устойчивость относительных статистическихпоказателей, таких, как доля самоубийств среди всех смертей. Интересно, чтоосновные идеи статистического приемочного контроля и сертификации продукцииобсуждались академиком М.В. Остроградским и применялись в российской армии ещёв середине Х1Х в… Статистические методы управления качеством, сертификации иклассификации продукции и сейчас весьма актуальны (см. главу 13 выше).
Современныйэтап развития прикладной статистики можно отсчитывать с 1900 г., когдаангличанин К. Пирсон основан журнал «Biometrika». Первая треть ХХ в.прошла под знаком параметрической статистики. Изучались методы, основанные наанализе данных из параметрических семейств распределений, описываемых кривымииз т.н. семейства Пирсона. Наиболее популярным было нормальное (гауссово)распределение. Для проверки гипотез использовались критерии Пирсона, Стьюдента,Фишера. Были предложены метод максимального правдоподобия, дисперсионныйанализ, сформулированы основные идеи планирования эксперимента.
Разработаннуюв первой трети ХХ в. теорию называем параметрической статистикой, поскольку ееосновной объект изучения — это выборки из распределений, описываемых одним илинебольшим числом параметров. Наиболее общим является семейство кривых Пирсона,задаваемых четырьмя параметрами. Как правило, нельзя указать каких-либо вескихпричин, по которым конкретное распределение результатов наблюдений должновходить в то или иное параметрическое семейство (подробнее см. начало главы 4).Исключения хорошо известны: если вероятностная модель предусматриваетсуммирование независимых случайных величин, то сумму естественно описыватьнормальным распределением; если же в модели рассматривается произведение такихвеличин, то итог, видимо, приближается логарифмически нормальнымраспределением, и т.д. Однако в подавляющем большинстве реальных ситуацийподобных моделей нет, и приближение реального распределения с помощью кривых изсемейства Пирсона или его подсемейств — чисто формальная операция.
Именноиз таких соображений критиковал параметрическую статистику академик АН СССРС.Н. Бернштейн в 1927 г. в своем докладе на Всероссийском съезде математиков[5]. Однако эта теория, к сожалению, до сих пор остается основой преподаваниястатистических методов и продолжает использоваться основной массойприкладников, остающихся далекими от новых веяний в статистике. Почему такпроисходит? Чтобы попытаться ответить на этот вопрос, обратимся к одной изстатистических наук — наукометрии, в которой статистическими методамианализируется развитие научных исследований.
Наукометрияприкладной статистики. Проведенный несколько лет назаданализ прикладной статистики как области научно-практической деятельности (врамках движения за создание Всесоюзной статистической ассоциации, учрежденной в1990 г.) показал, в частности, что актуальными для специалистов в настоящеевремя являются не менее чем 100 тысяч публикаций (подробнее см. статьи [6,7]).Реально же каждый из них знаком с существенно меньшим количеством книг истатей. Так, в наиболее солидном и обширном из научных изданий в областиэконометрики и прикладной статистики — трехтомнике Кендалла и Стьюарта [8-10]всего около 2 тысяч литературных ссылок. При всей очевидности соображений омногократном дублировании ценных идей в различных публикациях приходитсяпризнать, что каждый специалист по эконометрике и прикладной статистике владеетлишь небольшой частью накопленных в этой области знаний. Не удивительно, чтоприходится постоянно сталкиваться с игнорированием или повторением ранееполученных результатов, с уходом в тупиковые (с точки зрения практики)направления исследований, с беспомощностью при обращении к реальным данным, ит.д. Все это — одно из проявлений адапционного механизма торможения развития науки,которая оказывается не в состоянии даже осмыслить ранее полученные результаты.Об этом печальном явлении еще более 30 лет назад писали В.В.Налимов и другиенауковеды (см., например, [11]).
Традиционныйпредрассудок состоит в том, что каждый новый результат, полученныйисследователем — это кирпич, вложенный в непрерывно растущее здание науки,который непременно будет проанализирован и использован научным сообществом.Реальная ситуация — совсем иная. Как известно, большинство книг в центральныхбиблиотеках никто никогда не читал. Так что с новым результатом, скорее всего,познакомятся лишь несколько человек, да и то поверхностно, а использовать егобудут, в лучшем случае, сам автор в дальнейших работах и его ученики.
Основапрофессиональных знаний экономиста, менеджера, исследователя и инженеразакладывается в период обучения. Затем они пополняются в том узком направлении,в котором работает специалист. Следующий этап — их тиражирование новомупоколению. В результате вузовские учебники отстоят от современного развития надесятки лет. Так, учебники по математической статистике, по нашей экспертнойоценке, в основном соответствуют 40-60-м годам ХХ в. А потому тем же годамсоответствует по своему научному и методологическому уровню большинство вновьпубликуемых исследований и тем более — прикладных работ. Одновременноприходится признать, что результаты, которым не повезло, поскольку они не вошлив учебники, независимо от их научной и (или) прикладной ценности почти всезабываются.
Активнопродолжается развитие тупиковых направлений. Психологически это понятно.Приведу пример из своего опыта. В свое время по заказу Госстандарта яразработал методы оценки параметров гамма-распределения (см. государственныйстандарт [12]. Поэтому мне близки и интересны работы по оцениванию параметровпо выборкам из распределений, принадлежащих тем или иным параметрическимсемействам, понятия функции максимального правдоподобия, эффективности оценок,использование неравенства Рао-Крамера и т.д. К сожалению, я знаю, что это — тупиковая ветвь, поскольку реальные данные не подчиняются каким-либопараметрическим семействам, надо применять иные статистические методы, окоторых речь пойдет ниже. Понятно, что специалистам по параметрическойстатистике, потратившим многие годы на совершенствование в своей области,психологически трудно согласиться с подобным утверждением. В том числе и мнебыло трудно перейти на другую позицию, отраженную в настоящей книге и исходящуюиз потребностей прикладных работ.
Точкироста
Отечественнаялитература по эконометрике и прикладной статистике столь же необозрима, как имировая. Только в секции «Математические методы исследования» журнала«Заводская лаборатория» с 1960-х годов опубликовано более 1000статей. Не будем даже пытаться перечислять коллективы исследователей илиосновные монографии в этой области. Отметим только одно издание. По нашемумнению, наилучшей отечественной книгой по прикладной статистике являетсясборник статистических таблиц Л.Н. Большева и Н.В.Смирнова [13] с подробнымикомментариями, играющими роль сжатого учебника и справочника.
Основнаяцель настоящей главы — выделить и обсудить «точки роста» эконометрикии прикладной статистики, те их направления, которые представляютсяперспективными в будущем, в XXIвеке, но пока в большинстве учебных изданий отодвинуты на задний плантрадиционными постановками.
Приописании современного этапа развития эконометрических и статистических методовцелесообразно выделить пять актуальных направлений, в которых развиваетсясовременная прикладная статистика, т.е. пять «точек роста»:непараметрика (т.е. непараметрическая статистика), робастность, бутстреп,статистика интервальных данных, статистика нечисловых данных (в несколько инойтерминологии — статистика объектов нечисловой природы). Обсудим их.
Непараметрическаястатистика (см. также главу 4). В первой трети ХХв., одновременно с параметрической статистикой, в работах Спирмена и Кендаллапоявились первые непараметрические методы, основанные на коэффициентах ранговойкорреляции, носящих ныне имена этих статистиков. Но непараметрика, не делающаянереалистических предположений о том, что функции распределения результатовнаблюдений принадлежат тем или иным параметрическим семействам распределений,стала заметной частью статистики лишь со второй трети ХХ века. В 30-е годыпоявились работы А.Н.Колмогорова и Н.В.Смирнова, предложивших и изучившихстатистические критерии, носящие в настоящее время их имена. Эти критерииоснованы на использовании так называемого эмпирического процесса. (Какизвестно, эмпирический процесс – это разность между эмпирической итеоретической функциями распределения, умноженная на квадратный корень изобъема выборки.) В работе А.Н.Колмогорова 1933 г. изучено предельноераспределение супремума модуля эмпирического процесса, называемого сейчаскритерием Колмогорова. Затем Н.В. Смирнов исследовал супремум и инфимумэмпирического процесса, а также интеграл (по теоретической функциираспределения) квадрата эмпирического процесса.
Следуетотметить, что встречающееся иногда в литературе словосочетание «критерийКолмогорова-Смирнова» некорректно, поскольку эти два статистика никогда непечатались вместе и не изучали один и тот же критерий схожими методами.Корректно сочетание «критерий типа Колмогорова-Смирнова», применяемоедля обозначения критериев, основанных на использовании супремума функций отэмпирического процесса.
Послевторой мировой войны развитие непараметрической статистики пошло быстрымитемпами. Большую роль сыграли работы Ф. Вилкоксона и его школы. К настоящемувремени с помощью непараметрических методов можно решать практически тот жекруг статистических задач, что и с помощью параметрических. Однако дляобеспечения широкого внедрения непараметрических методов необходимо провестиеще целый комплекс теоретических и пилотных (т.е. пробных) прикладных работ.Все большую роль играют непараметрические оценки плотности, непараметрическиеметоды регрессии и распознавания образов (дискриминантного анализа). В нашейстране непараметрические методы получили достаточно большую известность послевыхода в 1965 г. первого издания упомянутого выше сборника статистическихтаблиц Л.Н. Большева и Н.В.Смирнова [13], содержащего подробные таблицы дляосновных непараметрических критериев.
Темне менее параметрические методы всё еще популярнее непараметрических, особенносреди тех прикладников, кто слабо знаком со статистическими методами.Неоднократно публиковались (см. начало гл.4) экспериментальные данные,свидетельствующие о том, что распределения реально наблюдаемых случайныхвеличин, в частности, ошибок измерения, в подавляющем большинстве случаевотличны от нормальных (гауссовских). Тем не менее теоретики продолжают строитьи изучать статистические модели, основанные на гауссовости, а практики — применять подобные методы и модели. Другими словами, «ищут под фонарем, ане там, где потеряли».
Устойчивостьстатистических процедур (робастность) (см. также главу 10).Если в параметрических постановках на данных накладываются слишком жесткиетребования — их функции распределения должны принадлежать определенномупараметрическому семейству, то в непараметрических, наоборот, излишне слабые — требуется лишь, чтобы функции распределения были непрерывны. При этомигнорируется априорная информация о том, каков «примерный вид»распределения. Априори можно ожидать, что учет этого «примерноговида» улучшит показатели качества статистических процедур. Развитием этойидеи является теория устойчивости (робастности) статистических процедур, вкоторой предполагается, что распределение исходных данных мало отличается отнекоторого параметрического семейства. За рубежом эту теорию разрабатывалиП.Хубер, Ф.Хампель и многие другие. Из монографий на русском языке, трактующихо робастности и устойчивости статистических процедур, самой ранней и наиболееобщей была книга [14], следующей — монография [15]. Частными случаямиреализации идеи робастности (устойчивости) статистических процедур являютсястатистика объектов нечисловой природы (см. главу 8) и статистика интервальныхданных (см. главу 3)…
Имеетсябольшое разнообразие моделей робастности в зависимости от того, какие именноотклонения от заданного параметрического семейства допускаются. Средитеоретиков наиболее популярной оказалась модель выбросов, в которой исходнаявыборка «засоряется» малым числом «выбросов», имеющихпринципиально иное распределение. Однако эта модель представляется«тупиковой», поскольку в большинстве случаев большие выбросы либоневозможны из-за ограниченности шкалы прибора либо интервала измененияизмеряемой величины, либо от них можно избавиться, применяя лишь статистики,построенные по центральной части вариационного ряда. Кроме того, в подобныхмоделях обычно считается известной частота засорения, что в сочетании сосказанным выше делает их малопригодными для практического использования.
Болееперспективным представляется, например, модель малых отклонений распределений,в которой расстояние между распределением каждого элемента выборки и базовымраспределением не превосходит заданной малой величины, и модель статистикиинтервальных данных.
Бутстреп(размножение выборок) (см. также главу 11). Другое изупомянутых выше направлений — бутстреп — связано с интенсивным использованиемвозможностей вычислительной техники. Основная идея состоит в том, чтобытеоретическое исследование заменить вычислительным экспериментом. Вместоописания выборки распределением из параметрического семейства строим большоечисло «похожих» выборок, т.е. «размножаем» выборку. Затемвместо оценивания характеристик (и параметров) и проверки гипотез на основесвойств теоретического распределения решаем эти задачи вычислительным методом,рассчитывая интересующие нас статистики по каждой из «похожих»выборок и анализируя полученные при этом распределения. Например, вместо того,чтобы теоретическим путем находить распределение статистики, доверительныеинтервалы и другие характеристики, моделируют большое число выборок, похожих наисходную, затем рассчитывают соответствующие значения интересующейисследователя статистики и изучают их эмпирическое распределение. Квантилиэтого распределения задают доверительные интервалы, и т.д.
Термин«бутстреп» мгновенно получил широкую известность после первой жестатьи Б.Эфрона 1979 г. по этой тематике. Он сразу же стал обсуждаться в массепубликаций, в том числе и научно-популярных. В «Заводской лаборатории»№ 10 за 1987 г. была помещена подборка статей по бутстрепу. На русском языкевыпущен сборник статей Б. Эфрона [16]. Основная идея бутстрепа по Б. Эфронусостоит в том, что методом Монте-Карло (статистических испытаний) многократноизвлекаются выборки из эмпирического распределения. Эти выборки, естественно,являются вариантами исходной, напоминают ее.
Самапо себе идея «размножения выборок» была известна гораздо раньше. Однаиз статей Б. Эфрона в сборнике [16] называется так: «Бутстреп-методы: новыйвзгляд на метод складного ножа». Упомянутый «метод складногоножа» (jackknife) предложен М. Кенуем еще в 1949 г., за 30 лет допоявления статьи Б.Эфрона. «Размножение выборок» при этомосуществляется путем исключения одного наблюдения. Таким образом для выборкиобъема n получаем n «похожих» на нее выборок объема (n- 1) каждая. Если же исключать по 2 наблюдения, то число«похожих» выборок возрастает до n (n — 1) / 2 объема (n — 2) каждая.
Преимуществаи недостатки бутстрепа как статистического метода обсуждались в главе 11 выше.Там же приводится информация о ряде аналогичных методов. Необходимоподчеркнуть, что бутстреп по Эфрону — лишь один из вариантов методов«размножения выборки» (resampling), и, на наш взгляд, не самыйудачный. Метод «складного ножа» представляется более полезным. На егооснове можно сформулировать следующую простую практическую рекомендацию.
Предположим,что Вы по выборке делаете какие-либо статистические выводы. Вы хотите узнатьтакже, насколько эти выводы устойчивы. Если у Вас есть другие (контрольные)выборки, описывающие то же явление, то Вы можете применить к ним ту жестатистическую процедуру и сравнить результаты. А если таких выборок нет? ТогдаВы можете их построить искусственно. Берете исходную выборку и исключаете одинэлемент. Получаете похожую выборку (она взята из того же распределения, толькообъем на единицу меньше). Затем возвращаете этот элемент выборки и исключаетедругой. Получаете вторую похожую выборку. Поступив таким образом со всемиэлементами исходной выборки, получаете столько выборок, похожих на исходную,каков ее объем. Остается обработать их тем же способом, что и исходную, иизучить устойчивость получаемых выводов — разброс оценок параметров, частотыпринятия или отклонения гипотез и т.д.
Можноизменять не выборку, а сами данные. Поскольку всегда имеются погрешностиизмерения, то реальные данные — это не числа, а интервалы (результат измеренияплюс-минус погрешность). Нужна статистическая теория анализа таких данных.
Статистикаинтервальных данных (см. также главу 9). Перспективное ибыстро развивающееся направление последних лет — прикладная математическаястатистика интервальных данных. Речь идет о развитии методов математическойстатистики в ситуации, когда статистические данные — не числа, а интервалы, вчастности, порожденные наложением ошибок измерения на значения случайныхвеличин.
Статистикаинтервальных данных идейно связана с интервальной математикой, в которой в роличисел выступают интервалы. Это направление математики является дальнейшим развитиемвсем известных правил приближенных вычислений, посвященных выражениюпогрешностей суммы, разности, произведения, частного через погрешности техчисел, над которыми осуществляются перечисленные операции. К настоящему времениудалось решить, в частности, ряд задач теории интервальных дифференциальныхуравнений, в которых коэффициенты, начальные условия и решения описываются спомощью интервалов.
Однаиз ведущих научных школ в области статистики интервальных данных — это школапроф. А.П. Вощинина, активно работающая с конца 70-х годов. В частности,изучены проблемы регрессионного анализа, планирования эксперимента, сравненияальтернатив и принятия решений в условиях интервальной неопределенности.
Рассмотримдругое направление в статистике интервальных данных, которое такжепредставляется перспективным. В нем развиваются асимптотические методыстатистического анализа интервальных данных при больших объемах выборок и малыхпогрешностях измерений. В отличие от классической математической статистики,сначала устремляется к бесконечности объем выборки и только потом — уменьшаютсядо нуля погрешности. В частности, с помощью такой асимптотики былисформулированы правила выбора метода оценивания параметров гамма-распределенияв ГОСТ 11.011-83 [12].
Врамках рассматриваемого научного направления, разработана общая схемаисследования, включающая расчет нотны (максимально возможного отклонениястатистики, вызванного интервальностью исходных данных) и рационального объемавыборки (превышение которого не дает существенного повышения точностиоценивания). Она применена к оцениванию математического ожидания, дисперсии,коэффициента вариации, параметров гамма-распределения и характеристикаддитивных статистик, при проверке гипотез о параметрах нормальногораспределения, в т.ч. с помощью критерия Стьюдента, а также гипотезыоднородности с помощью критерия Смирнова. Разработаны подходы к рассмотрениюинтервальных данных в основных постановках регрессионного, дискриминантного икластерного анализов. В частности, изучено влияние погрешностей измерений инаблюдений на свойства алгоритмов регрессионного анализа, разработаны способырасчета нотн и рациональных объемов выборок, введены и исследованы новыепонятия многомерных и асимптотических нотн, доказаны соответствующие предельныетеоремы. Начата разработка интервального дискриминантного анализа, в частности,рассмотрено влияние интервальности данных на введенный в главе 5 показателькачества классификации. Изучено асимптотическое поведение оценок методамоментов и оценок максимального правдоподобия (а также более общих — оценокминимального контраста), проведено асимптотическое сравнение этих методов вслучае интервальных данных. Найдены общие условия, при которых, в отличие отклассической математической статистики, метод моментов дает более точныеоценки, чем метод максимального правдоподобия.
Вобласти асимптотической математической статистики интервальных данныхроссийская наука имеет мировой приоритет. Развертывание работ порассматриваемой тематике позволит закрепить этот приоритет, получитьтеоретические результаты, основополагающие в новой области математическойстатистики и необходимые для обоснованного статистического анализа почти всехтипов данных. Со временем во все виды статистического программного обеспечениядолжны быть включены алгоритмы интервальной статистики,«параллельные» обычно используемым алгоритмам прикладнойматематической статистики. Это позволит в явном виде учесть наличиепогрешностей у результатов наблюдений, сблизить позиции метрологов и статистиков.
Статистикаобъектов нечисловой природы как часть прикладной статистики.Согласно общепринятой в настоящее время классификации статистических методовприкладная статистика делится на следующие четыре области:
статистика(числовых) случайных величин (см. главу 4),
многомерныйстатистический анализ (см. главу 5),
статистикавременных рядов и случайных процессов (см. главу 6),
статистикаобъектов нечисловой природы (см. главу 8),.
Первыетри из этих областей являются классическими. Они были хорошо известны еще впервой половине ХХ в. Остановимся на четвертой, сравнительно недавно вошедшей вмассовое сознание специалистов. Ее именуют также статистикой нечисловых данныхили попросту нечисловой статистикой. Анализ динамики развития эконометрики иприкладной статистики приводит к выводу, что в XXIв. она станет центральной областью прикладной статистики, поскольку содержитнаиболее общие подходы и результаты.
Исходныйобъект в прикладной математической статистике — это выборка. В вероятностнойтеории статистики выборка — это совокупность независимых одинаковораспределенных случайных элементов. Какова природа этих элементов? Вклассической математической статистике элементы выборки — это числа. Вмногомерном статистическом анализе — вектора. А в нечисловой статистикеэлементы выборки — это объекты нечисловой природы, которые нельзя складывать иумножать на числа. Другими словами, объекты нечисловой природы лежат впространствах, не имеющих векторной структуры.
Примерамиобъектов нечисловой природы являются (подробнее см. главу 8):
значениякачественных признаков, т.е. результаты кодировки объектов с помощью заданногоперечня категорий (градаций);
упорядочения(ранжировки) экспертами образцов продукции (при оценке её технического уровня иконкурентоспособности)) или заявок на проведение научных работ (при проведенииконкурсов на выделение грантов);
классификации,т.е. разбиения объектов на группы сходных между собой (кластеры);
толерантности,т.е. бинарные отношения, описывающие сходство объектов между собой, например,сходства тематики научных работ, оцениваемого экспертами с целью рациональногоформирования экспертных советов внутри определенной области науки;
результатыпарных сравнений или контроля качества продукции по альтернативному признаку(«годен» — «брак»), т.е. последовательности из 0 и 1;
множества(обычные или нечеткие), например, зоны, пораженные коррозией, или перечнивозможных причин аварии, составленные экспертами независимо друг от друга;
слова,предложения, тексты;
вектора,координаты которых — совокупность значений разнотипных признаков, например,результат составления статистического отчета о научно-технической деятельности(т.н. форма № 1-наука) или заполненная компьютеризированная история болезни, вкоторой часть признаков носит качественный характер, а часть — количественный;
ответына вопросы экспертной, маркетинговой или социологической анкеты, часть изкоторых носит количественный характер (возможно, интервальный), часть сводитсяк выбору одной из нескольких подсказок, а часть представляет собой тексты; ит.д.
Интервальныеданные (см. выше) тоже можно рассматривать как пример объектов нечисловойприроды, а именно, как частный случай нечетких множеств.
Сначала 70-х годов под влиянием запросов прикладных исследований всоциально-экономических, технических, медицинских науках в России активноразвивается статистика объектов нечисловой природы, известная также какстатистика нечисловых данных или нечисловая статистика. В создании этойсравнительно новой области эконометрики и прикладной математической статистикиприоритет принадлежит российским ученым.
Большуюроль сыграл основанный в 1973 г. научный семинар «Экспертные оценки ианализ данных». В 60-е годы советское научное сообщество сталоинтересоваться методами экспертных оценок (об их истории и современномсостоянии см. главу 12). Как следствие, началось знакомство с конкретнымиматематизированными теориями, связанными с этими методами. Речь идет орепрезентативной теории измерений, ставшей известной в нашей стране по статьеП.Суппеса и Дж.Зинеса в сборнике [17] и книге И.Пфанцагля [18], о теориинечеткости, современный этап которой начался с работ Л.А.Заде [19], теориипарных сравнений, описанной в монографии Г.Дэвида [20]. К этому кругу идейпримыкают теория случайных множеств (см., например, книгу Ж.Матерона [21]) иметоды многомерного шкалирования (описаны, в частности, в монографияхА.Ю.Терехиной [22] и В.Т.Перекреста [23]). Но наибольшее влияние оказали идеиДж.Кемени, который аксиоматически ввел расстояние между ранжировками (теперьоно именуется в литературе расстоянием Кемени) и предложил использовать вкачестве средней величины решение оптимизационной задачи (теперь — медианаКемени). Его скромная книжка [24], написанная в соавторстве с Дж.Снеллом,породила большой поток исследований.
Втечение 70-х годов на основе запросов теории экспертных оценок (а такжесоциологии, экономики, техники и медицины) развивались конкретные направлениястатистики объектов нечисловой природы. Были установлены связи междуконкретными видами таких объектов, разработаны для них вероятностные модели(см. главу 8). Научные итоги этого периода подведены в монографиях [14,25,26]).
Следующийэтап — выделение статистики объектов нечисловой природы в качествесамостоятельного направления в эконометрике и прикладной статистике, ядромкоторого являются методы статистического анализа данных произвольной природы.Программа развития этого нового научного направления впервые быласформулирована в статье [27]. Реализация этой программы была осуществлена в80-е годы. Для работ этого периода характерна сосредоточенность на внутреннихпроблемах нечисловой статистики. Ссылки на конкретные монографии, сборники,статьи и иные публикации нескольких десятков авторов приведены в главе 8.Отметим лишь сборник научных статей [28], полностью посвященный нечисловойстатистике.
К90-м годам статистика объектов нечисловой природы с теоретической точки зрениябыла достаточно хорошо развита, основные идеи, подходы и методы былиразработаны и изучены математически, в частности, доказано достаточно многотеорем. Однако она оставалась недостаточно апробированной на практике. Это былосвязано как с ее сравнительной молодостью, так и с общеизвестными особенностямиорганизации науки в 80-е годы, когда отсутствовали достаточные стимулы к тому,чтобы теоретики занялись широким внедрением своих результатов. И в 90-е годынаступило время от математико-статистических исследований перейти к применениюполученных результатов на практике.
Следуетотметить, что в статистике объектов нечисловой природы, как и в других областяхэконометрики, прикладной математической статистики и прикладной математикивообще, одна и та же математическая схема может с успехом применяться и втехнических исследованиях, и в менеджменте, и в экономике, и в геологии, и вмедицине, и в социологии, и для анализа экспертных оценок, и во многих иныхобластях, а потому ее лучше всего формулировать и изучать в наиболее общемвиде, для объектов произвольной природы.
Основныеидеи статистики объектов нечисловой природы. В чемпринципиальная новизна нечисловой статистики? Для классической математическойстатистики характерна операция сложения. При расчете выборочных характеристикраспределения (выборочное среднее арифметическое, выборочная дисперсия и др.),в регрессионном анализе и других областях этой научной дисциплины постоянноиспользуются суммы. Математический аппарат — законы больших чисел, Центральнаяпредельная теорема и другие теоремы — нацелены на изучение сумм. В нечисловойже статистике нельзя использовать операцию сложения, поскольку элементы выборкилежат в пространствах, где нет операции сложения. Методы обработки нечисловыхданных основаны на принципиально ином математическом аппарате — на примененииразличных расстояний в пространствах объектов нечисловой природы.
Краткорассмотрим несколько идей, развиваемых в статистике объектов нечисловой природыдля данных, лежащих в пространствах произвольного вида. Решаются классическиезадачи описания данных, оценивания, проверки гипотез — но для неклассическихданных, а потому неклассическими методами.
Первойобсудим проблему определения средних величин. В рамках репрезентативной теорииизмерений удается указать вид средних величин, соответствующих тем или инымшкалам измерения (см. главу 3). В классической математической статистикесредние величины вводят с помощью операций сложения (выборочное среднееарифметическое, математическое ожидание) или упорядочения (выборочная итеоретическая медианы). В пространствах произвольной природы средние значениянельзя определить с помощью операций сложения или упорядочения. Теоретические иэмпирические средние приходится вводить как решения экстремальных задач. Длятеоретического среднего это — задача минимизации математического ожидания (вклассическом смысле) расстояния от случайного элемента со значениями врассматриваемом пространстве до фиксированной точки этого пространства(минимизируется указанная функция от этой точки). Для эмпирического среднегоматематическое ожидание берется по эмпирическому распределению, т.е. беретсясумма расстояний от некоторой точки до элементов выборки и затем минимизируетсяпо этой точке. При этом как эмпирическое, так и теоретическое средние какрешения экстремальных задач могут быть не единственным элементом пространства,а состоять из множества таких элементов, которое может оказаться и пустым. Темне менее удалось сформулировать и доказать законы больших чисел для среднихвеличин, определенных указанным образом, т.е. установить сходимостьэмпирических средних к теоретическим .
Оказалось,что методы доказательства законов больших чисел допускают существенно болееширокую область применения, чем та, для которой они были разработаны. А именно,удалось изучить асимптотику решений экстремальных статистических задач, ккоторым, как известно, сводится большинство постановок прикладной статистики. Вчастности, кроме законов больших чисел установлена и состоятельность оценокминимального контраста, в том числе оценок максимального правдоподобия иробастных оценок. К настоящему времени подобные оценки изучены также и винтервальной статистике.
Встатистике в пространствах произвольной природы большую роль играютнепараметрические оценки плотности, используемые, в частности, в различныхалгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловойстатистике предложен и изучен ряд типов непараметрических оценок плотности впространствах произвольной природы, в частности, доказана их состоятельность,изучена скорость сходимости и установлен примечательный факт совпадениянаилучшей скорости сходимости в произвольном случае с той, которая имеет быть вклассической теории для числовых случайных величин.
Дискриминантный,кластерный, регрессионный анализы в пространствах произвольной природы основанылибо на параметрической теории — и тогда применяется подход, связанный сасимптотикой решения экстремальных статистических задач — либо нанепараметрической теории — и тогда используются алгоритмы на основенепараметрических оценок плотности.
Дляпроверки гипотез могут быть использованы статистики интегрального типа, вчастности, типа омега-квадрат. Любопытно, что предельная теория такихстатистик, построенная первоначально в классической постановке [29], приобрелаестественный (завершенный, изящный) вид именно для пространств произвольноговида [30], поскольку при этом удалось провести рассуждения, опираясь на базовыематематические соотношения, а не на те частные (с общей точки зрения), что былисвязаны с конечномерным пространством.
Представляютпрактический интерес результаты, связанные с конкретными областями статистикиобъектов нечисловой природы, в частности, со статистикой нечетких множеств,развитой в книге [31], и со статистикой случайных множеств [14] (следуетотметить, что теория нечетких множеств в определенном смысле сводится к теориислучайных множеств [14,31]), с непараметрической теорией парных сравнений, саксиоматическим введением метрик в конкретных пространствах объектов нечисловойприроды [28], и с рядом других конкретных постановок (см. главу 8).
Дляанализа нечисловых, в частности, экспертных данных весьма важны методыклассификации. С другой стороны, наиболее естественно ставить и решать задачиклассификации, основанные на использовании расстояний или показателей различия,в рамках статистики объектов нечисловой природы. Это касается как распознаванияобразов с учителем (другими словами, дискриминантного анализа), так ираспознавания образов без учителя (т.е. кластерного анализа). Современноесостояние дискриминантного и кластерного анализа с точки зрения статистикиобъектов нечисловой природы отражено в главе 5.
Статистическиеметоды анализа нечисловых данных особенно хорошо приспособлены для применения вэкономике, социологии и экспертных оценках, поскольку в этих областях от 50% до90% данных являются нечисловыми.
Другиеточки роста. Выше рассмотрены пять «точекроста» эконометрики и прикладной статистики. Разумеется, они неисчерпывают все многообразие фронта научных исследований в рассматриваемыхобластях. Кроме того, в настоящей главе почти не затронуты разнообразныеприменения эконометрических и статистических методов в конкретных прикладныхисследованиях и разработках. Много интересных проблем есть в планированииэкспериментов, особенно кинетических (см., например, статью [31]), при анализепроблем надежности, в новых статистических методах управления качествомпродукции (см. главу 13), в том числе в связи с идеями Г. Тагути, при анализерисков (см. главу 14), в вопросах экологии и безопасности и др.
Втечение последних более чем 60 лет в России наблюдается огромный разрыв междугосударственной статистикой и научным сообществом специалистов постатистическим методам (подробнее об этом см. статью [7]). В учебнике поистории статистики [32] даже не упоминаются имена членов-корреспондентов АНСССР Н.В.Смирнова и Л.Н. Большева! А ведь они – единственные представителиименно математической статистики как таковой в Академии наук в ХХ в. (еще рядчленов Академии наук имели математическую статистику среди своих интересов, ноН.В. Смирнов и Л.Н. Большев занимались практически только ею). Поэтому нетничего удивительного в том, что тенденции развития современной эконометрики иприкладной математической статистики столь же мало обсуждаются отечественнымиавторами, как и ее история.
Онекоторых нерешенных вопросах эконометрики и прикладной статистики
Запоследние 30 лет выявился целый ряд нерешенных вопросов эконометрики иприкладной статистики, как чисто научных, так и научно-организационных.Обсудим пять из них:
влияниеотклонений от традиционных предпосылок (вероятностно-статистических моделей) насвойства эконометрических и статистических процедур;
оправданностьиспользования асимптотических теоретических результатов эконометрики иприкладной математической статистики при конечных объемах выборок;
формулировкии обоснования правил выбора одного из многих критериев для проверки конкретнойгипотезы;
конкретныеспособы организации теоретических работ в области эконометрики и прикладнойматематической статистики;
организацияи проведение прикладных работ с использованием методов эконометрики иприкладной математической статистики.
Настоящийраздел отнюдь не претендует на решение перечисленных вопросов. Его цель гораздоскромнее — обратить внимание на существование ряда нерешенных вопросов внадежде, что коллективными усилиями удастся продвинуться в их решении.
Влияниеотклонений от традиционных предпосылок. В вероятностной теориистатистических методов выборка обычно моделируется как конечнаяпоследовательность независимых одинаково распределенных случайных величин иливекторов. Часто предполагается, что эти величины (вектора) имеют нормальноераспределение.
Наоснове сформулированных классических предпосылок построено огромное зданиеклассической математической статистики с большим числом теорем. Оно запоследние 100 лет обросло горой учебников и программных продуктов.
Однакопри внимательном взгляде совершенно ясна нереалистичность классическихпредпосылок. Независимость результатов измерений обычно принимается «изобщих предположений», между тем во многих случаях очевидна ихкоррелированность [33]. Одинаковая распределенность также вызывает сомненияиз-за изменения во времени свойств измеряемых образцов, средств измерения ипсихофизического состояния специалистов, проводящих измерения (наблюдения,испытания, анализы, опыты). Даже обоснованность самой возможности применениявероятностных моделей также часто вызывает сомнения, например, примоделировании уникальных измерений (теорию вероятностей обычно привлекают приизучении массовых явлений). И уж совсем редко распределения результатовизмерений можно считать нормальными (см. главу 4).
Итак,методы классической математической статистики обычно используют вне сферы ихобоснованной применимости. Каково влияние отклонений от традиционныхпредпосылок на статистические выводы? В настоящее время об этом имеются лишьотрывочные сведения. Приведем три примера.
Пример1. Построениедоверительного интервала для математического ожидания обычно проводят сиспользованием распределения Стьюдента (при справедливости гипотезынормальности). Как следует из Центральной Предельной Теоремы (ЦПТ) теориивероятностей, в асимптотике (при большом объеме выборки) такие расчетные методыдают правильные результаты. А именно, из ЦПТ вытекает использование квантилейнормального распределения, а из классической теории — квантилей распределения Стьюдента,но при росте объема выборки квантили распределения Стьюдента стремятся ксоответствующим квантилям нормального распределения.
Пример2. Дляпроверки однородности двух независимых выборок (на самом деле — для проверкиравенства математических ожиданий) обычно рекомендуют использоватьдвухвыборочный критерий Стьюдента. Что будет при отклонении от нормальностираспределений, из которых взяты выборки? Если объемы выборок равны или еслидисперсии результатов наблюдений в выборках совпадают, то в асимптотике (когдаобъемы выборок безгранично возрастают) классический метод является корректным.Если же объемы выборок существенно отличаются и их дисперсии различны, тодвухвыборочную статистику Стьюдента применять нельзя. Поскольку проверкаравенства дисперсий — более сложная задача, чем проверка равенстваматематических ожиданий, то для выборок разного объема использоватьдвухвыборочную статистику Стьюдента не следует, лучше применять критерийКрамера- Уэлча, как это подробно обосновано в главе 4.
Пример3. Взадаче отбраковки (исключения) резко выделяющихся наблюдений (выбросов)расчетные методы, основанные на нормальности, являются крайне неустойчивыми поотношению к отклонениям от нормальности, что полностью лишает эти методынаучной обоснованности (подробнее см. главу 4).
Примеры1-3 показывают весь спектр возможных свойств классических расчетных методов вслучае отклонения от нормальности. Методы примера 1 оказываются вполнепригодными при таких отклонениях, примера 2 — пригодными в некоторых случаях,примера 3 — полностью непригодными.
Итак,имеется необходимость изучения свойств расчетных методов классическойматематической статистики, опирающихся на предположение нормальности, вситуациях, когда это предположение не выполнено. Аппаратом для такогоизучения наряду с методом Монте-Карло (статистических испытаний) могутпослужить предельные теоремы теории вероятностей (и опирающиеся на нихасимптотические методы математической статистики), прежде всего ЦПТ, посколькуинтересующие нас расчетные методы обычно используют разнообразные суммы.
Покаподобное изучение не проведено, остается неясной научная ценность, например,применения факторного анализа к векторам из переменных, принимающих небольшоечисло градаций и к тому же измеренных в порядковой шкале. Этот пример показываетважность еще одного направления исследований — изучения свойств алгоритмов,предназначенных для анализа числовых данных, в случаях, когда данные измерены вшкалах, отличных от абсолютной, в частности, в порядковой шкале. Подробнее этонаправление рассмотрено в главе 3.
Избольшого числа возможных постановок, относящихся к изучению влияния отклоненийот традиционных предпосылок, укажем лишь на то, что реальные данные имеютнебольшое число значащих цифр (обычно от 2 до 5), в то время как в классическойматематической статистике используются непрерывные случайные величины, длякоторых вероятность получения подобного результата наблюдения равна 0.Действительно, вероятность того, что хотя бы один элемент выборки израспределения с непрерывной функцией распределение попадет в заданное счетноемножество, в частности, в множество рациональных чисел, равна 0 (согласноклассическим свойствам вероятностной меры). Событиями, имеющими вероятность 0,принято пренебрегать. Следовательно, с точки зрения классической математическойстатистики любыми реальными данными нужно пренебречь! Выходов из этогопарадокса несколько. Один из них — бурно развивающаяся в настоящее времястатистика интервальных данных (см. главу 9), другой — использованиеклассических поправок Шеппарда для сгруппированных данных [34,35]. Здесь ещемного работы. Так, даже для такого широко используемого статистическогопоказателя, как коэффициент корреляции, поправки на группировку (поправкиШеппарда) были получены сравнительно недавно — лишь в 1980 г. [35].
Почемуна первый план выдвинуто изучение классических алгоритмов, а не построениеновых, специально предназначенных для работы в условиях отклонения отклассических предпосылок? Во-первых, потому, что классические алгоритмы внастоящее время наиболее распространены (благодаря сложившейся системеобразования как прикладников, так и математиков). Во-вторых, более новыеподходы зачастую методологически уязвимы. Так, известная робастная модельзасорения Тьюки-Хубера (см. главу 10) нацелена на борьбу с большими выбросами,которые зачастую физически невозможны из-за ограниченности интервала возможныхзначений измеряемой характеристики, в котором работает конкретное средствоизмерения. Следовательно, модель Тьюки-Хубера имеет скорее теоретическоезначение, чем практическое. Сказанное, конечно, не означает, что следуетпрекратить разработку, изучение и внедрение непараметрических и устойчивыхметодов, выделенных выше как «точки роста» современных эконометрики иприкладной статистики.
Использованиеасимптотических результатов при конечных объемах выборок. Какотмечено выше, изучение классических алгоритмов во многих случаях может бытьпроведено с помощью асимптотических методов математической статистики, вчастности, с помощью ЦПТ и методов наследования сходимости [14, п.2.4]. Отрывклассической математической статистики от нужд прикладных исследованийпроявился, в частности, в том, что в распространенных монографиях недостаетматематического аппарата, необходимого, в частности, для изучения двухвыборочныхстатистик. Суть в том, что переходить к пределу приходится не по одномупараметру, а по двум – объемам двух выборок. Пришлось разработатьсоответствующую теорию – теорию наследования сходимости, изложенную вмонографии [14, п.2.4].
Однакоприменять результаты подобного изучения придется при конечных объемах выборок.Возникает целый букет проблем, связанных с таким переходом. Часть из нихобсуждалась в статье [37] в связи с изучением свойств статистик, построенных повыборкам из конкретных распределений.
Однакопри обсуждении влияния отклонений от исходных предположений на свойствастатистических процедур возникают дополнительные проблемы. Какие отклонениясчитать типичными? Ориентироваться ли на наиболее «вредные»отклонения, в наибольшей степени искажающие свойства алгоритмов, или жесосредоточить внимание на «типичных» отклонениях?
Припервом подходе получаем гарантированный результат, но «цена» этогорезультата может быть излишне высокой. В качестве примера укажем науниверсальное неравенство Берри-Эссеена для погрешности в ЦПТ [38,39].Совершенно справедливо подчеркивает академик РАН А.А. Боровков [39, с,172], что«скорость сходимости в реальных задачах, как правило, оказываетсялучше.»
Привтором подходе возникает вопрос, какие отклонения считать «типичными».Попытаться ответить на этот вопрос можно, анализируя большие массивы реальныхданных. Вполне естественно, что ответы различных исследовательских групп будутразличаться.
Однаиз ложных идей — использование при анализе возможных отклонений толькокакого-либо конкретного параметрического семейства – распределенийВейбулла-Гнеденко, трехпараметрического семейства гамма — распределений и др.Как уже отмечалось выше, еще в 1927 г. акад. АН СССР С.Н. Бернштейн обсуждалметодологическую ошибку, состоящую в сведении всех эмпирических распределений кчетырехпараметрическому семейству Пирсона [5]. Однако и до сих порпараметрические методы статистики весьма популярны, особенно средиприкладников, и вина за это заблуждение лежит прежде всего на преподавателяхстатистических методов.
Выбородного из многих критериев для проверки конкретной гипотезы.Во многих случаях для решения конкретной практической задачи разработано многометодов, и специалист по математическим методам исследования стоит передпроблемой: какой из них предложить прикладнику для анализа конкретных данных?
Вкачестве примера рассмотрим задачу проверки однородности двух независимыхвыборок. Как известно [13], для ее решения можно предложить массу критериев:Стьюдента, Крамера-Уэлча, Лорда, хи — квадрат, Вилкоксона (Манна-Уитни), Ван –дер — Вардена, Сэвиджа, Н.В.Смирнова, типа омега-квадрат (Лемана-Розенблатта),Г.В. Мартынова и др. Какой выбрать?
Естественнымобразом приходит в голову идея «голосования»: провести проверку помногим критериям, а затем принять решение «по большинству голосов». Сточки зрения статистической теории такая процедура приводит попросту кпостроению еще одного критерия, который априори ничем не лучше прежних (но и нехуже), но более труден для изучения. С другой стороны, если совпадают решенияпо всем рассмотренным статистическим критериям, исходящим из различныхпринципов, то в соответствии с концепцией устойчивости, развитой в монографии[14], это повышает доверие к полученному общему решению.
Распространено,особенно среди математиков, ложное и вредное мнение о необходимости поискаоптимальных методов, решений и т.д. Дело в том, что оптимальность обычноисчезает при отклонении от исходных предпосылок. Так, среднее арифметическое вкачестве оценки математического ожидания является оптимальной оценкой толькотогда, когда исходное распределение — нормальное (см., например, монографию[40]), в то время как состоятельной оценкой — всегда, лишь бы математическоеожидание существовало. С другой стороны, для любого произвольно взятого методаоценивания или проверки гипотез обычно можно так сформулировать понятиеоптимальности, чтобы рассматриваемый метод стал оптимальным – с этой специальновыбранной точки зрения. Возьмем, например, выборочную медиану как оценкуматематического ожидания. Она, разумеется, оптимальна, хотя и в другом смысле,чем среднее арифметическое (оптимальное для нормального распределения). Аименно, для распределения Лапласа выборочная медиана является оценкоймаксимального правдоподобия, а потому оптимальной — в том смысле, в какомоптимальной является любая оценка максимального правдоподобия. Соответствующеепонятие оптимальности требует аккуратных формулировок, оно строго изложено вмонографии [41]. Как известно, оценки максимального правдоподобия удобны притеоретических рассмотрениях, а при анализе конкретных экономических,технических и иных данных следует применять одношаговые оценки (см. об этомстатью [42]).
Критерииоднородности были проанализированы в монографии проф. Я.Ю. Никитина [43].Естественных подходов к сравнению критериев несколько — на основеасимптотической относительной эффективности по Бахадуру, Ходжесу — Леману,Питмену. И выяснилось, что каждый критерий является оптимальным присоответствующей альтернативе или подходящем распределении на множествеальтернатив. При этом математические выкладки обычно используют альтернативусдвига, сравнительно редко встречающуюся в практике анализа реальныхстатистических данных (в связи с критерием Вилкоксона эта альтернативаобсуждалась в главе 4). Итог печален — блестящая математическая техника,продемонстрированная в монографии [43], не позволяет дать рекомендации длявыбора критерия проверки однородности при анализе реальных данных. Другимисловами, с точки зрения работы прикладника, т.е. анализа конкретных данных,монография [43] бесполезна. Блестящее владение математикой и огромноетрудолюбие, продемонстрированные автором этой монографии, увы, ничего непринесли практике.
Конечно,каждый практически работающий статистик так или иначе решает для себя проблемувыбора статистического критерия. На основе ряда методологических соображений вглаве 4 мы остановили свой выбор на состоятельном против любой альтернативыкритерии типа омега-квадрат (Лемана-Розенблатта). Однако остается чувствонеудовлетворенности в связи с недостаточной теоретической обоснованностью этоговыбора.
Организациятеоретических работ в области эконометрики и прикладной статистики.Выше продемонстрирована необходимость большой теоретической работы по развитиюнацеленных на практическое использование математических методов исследования. Встатье [6] 1992 г. обоснован вывод о необходимости создания сетинаучно-исследовательских организаций, которая выполняла бы такую работу. Какизвестно, количество научных работников к настоящему времени сократилось покрайней мере в 3 раза по сравнению с началом 1990-х годов, так что наосуществление в ближайшие годы сформулированной в [6] научно-организационнойпрограммы надеяться не приходится.
Приходитсяс сожалением констатировать, что в рамках научной специальности «теориявероятностей и математическая статистика» наблюдается четко выраженноеигнорирование проблем статистического анализа реальных данных и уход в глубьузкоматематических исследований, которые ничего не могут дать практике. Причиныэтого явления, типичного для математических дисциплин, обсуждались выше.Поэтому нет оснований ожидать, что при «естественном ходе событий»будут получены существенные продвижения в рассмотренных выше нерешенныхпроблемах эконометрики и прикладной математической статистики.
Помочьможет выделение государственными структурами системы грантов, направленных наподдержку работ в области нерешенных эконометрики и прикладной математическойстатистики. Принципиальным шагом явилось бы выделение эконометрики и прикладнойматематической статистики как самостоятельных научных направлений, отличных какот чисто математических дисциплин типа «теории вероятностей иматематической статистики», так и от, например, ветви экономическойтеории, известной в официальных кругах под названием «статистика».
Оприкладных работах с использованием методов прикладной статистики.Проблемы организации теоретических работ в области эконометрики и прикладнойматематической статистики лишь в перспективе важны для практической работы. Какправило, те, кто обрабатывает реальные данные, недостаточно знакомы стеоретическими основами алгоритмов и тем более не следят за событиями «напереднем крае» обсуждаемой научно-методической дисциплины. Это вполнеестественно, поскольку основная специальность у таких специалистов — иная.
Несколькоогрубляя, можно сказать, что реально используется только то, что имеется вучебниках и справочниках, в широко распространенных программных продуктах, анаучные публикации с точки зрения прикладника представляют собой«информационный шум». Ситуация усугубляется традиционным ненормальнымположением в отечественной статистике [7], наличием ошибок во многих изданиях.
Ксожалению, учебная и научная литература на русском языке (как, впрочем, и наиных языках) по эконометрике и прикладной статистике в целом далека отсовершенства, переполнена устаревшими методологическими подходами и прямымиошибками. До сих пор наилучшим изданием остаются «Таблицы математическойстатистики» Л.Н. Большева и Н.В.Смирнова [13], созданные в 60-х годах.
Хотястуденты почти всех специальностей изучают в конце курса высшей математикираздел «теория вероятностей и математическая статистика», реально онизнакомятся лишь с некоторыми основными понятиями и результатами, которых явноне достаточно для практической работы. С некоторыми математическими методамиисследования студенты встречаются в специальных курсах (например, таких, как«Прогнозирование и технико-экономическое планирование»,«Технико-экономический анализ», «Контроль качества продукции»,«Маркетинг», «Контроллинг», «Математические методыпрогнозирования» и др.), однако изложение в большинстве случаев носитвесьма сокращенный и рецептурный характер. В результате подавляющую частьспециалистов по эконометрике, прикладной математической статистике и ихприменению следует считать самоучками.
Поэтомубольшое значение имеет введение в технических вузах курса «Прикладнаяматематическая статистика», а на экономических факультетах таких вузов –курса «Эконометрика», поскольку эконометрика – это, как известно,статистический анализ конкретных экономических данных (см. главу 1). Этоестественно делать, например, в рамках подпрограммы «Технологии подготовкикадров для национальной технологической базы» федеральной целевойпрограммы «Национальная технологическая база». Естественно, что курсы«Прикладная математическая статистика» и «Эконометрика» должны бытьобеспечены соответствующими учебниками и учебными пособиями, методическимиматериалами и обучающими компьютерными системами.
Толькочерез систему образования можно поднять уровень массового примененияэконометрики и прикладной статистики и сократить отставание от «переднегокрая» теории. А это отставание в настоящее время составляет не менее 20(но и не более 100) лет.
Высокиестатистические технологии и эконометрика
В настоящем пункте подробно обсуждается ранее введенноепонятие «высокие статистические технологии». Рассматриваются причиныширокого распространения устаревших и частично ошибочных «низких»статистических технологий. Показано, что из всех путей повышения качестваприкладных статистических исследований наиболее эффективным является расширениеобучения «высоким статистическим технологиям», в том числе под именемэконометрики. Описан опыт работы Института высоких статистических технологий иэконометрики МГТУ им. Н.Э. Баумана.
Термин «высокие технологии» популярен всовременной научно-технической литературе. Он используется для обозначениянаиболее передовых технологий, опирающихся на последние достижениянаучно-технического прогресса. Есть такие технологии и среди технологийстатистического анализа данных — как в любой интенсивно развивающейсянаучно-практической области.
Примеры высоких статистических технологий и входящих в нихалгоритмов анализа данных, подробный анализ современного состояния и перспективразвития даны выше при обсуждении “точек роста” эконометрики какнаучно-практической дисциплины. В качестве «высоких статистическихтехнологий» были выделены технологии непараметрического анализа данных;устойчивые (робастные) технологии; технологии, основанные на размножениивыборок, на использовании достижений статистики нечисловых данных и статистикиинтервальных данных.
Термин«высокие статистические технологии».Обсудим пока не вполне привычный термин «высокие статистические технологии».Каждое из трех слов несет свою смысловую нагрузку.
«Высокие», как и в других областях,означает, что статистическая технология опирается на современные достижениястатистической теории и практики, в частности, теории вероятностей и прикладнойматематической статистики. При этом «опирается на современные научныедостижения» означает, во-первых, что математическая основа технологииполучена сравнительно недавно в рамках соответствующей научной дисциплины,во-вторых, что алгоритмы расчетов разработаны и обоснованы в соответствии в нею(а не являются т.н. «эвристическими»). Со временем, если новыеподходы и результаты не заставляют пересмотреть оценку применимости ивозможностей технологии, заменить ее на более современную, «высокие статистическиетехнологии» переходят в «классические статистическиетехнологии», такие, как метод наименьших квадратов. Итак, высокиестатистические технологии — плоды недавних серьезных научных исследований.Здесь два ключевых понятия — «молодость» технологии (во всяком случае,не старше 50 лет, а лучше — не старше 10 или 30 лет) и опора на «высокуюнауку».
Термин «статистические» привычен, норазъяснить его нелегко. Во всяком случае, к деятельности Государственногокомитета РФ по статистике высокие статистические технологии отношения не имеют.Как известно, сотрудники проф. В.В. Налимова собрали более 200 определенийтермина «статистика» [44]. Полемика вокруг терминологии иногдапринимает весьма острые формы (см., например, редакционные замечания к статье[1], написанные в стиле известных высказываний о генетике и кибернетике конца1940-х годов). Современное представление о терминологии в области теориивероятностей и математической статистики отражено в Приложении 1 к настоящейкниге, подготовленном в противовес распространенным ошибкам и неточностям вэтой области. В частности, с точки зрения эконометрики статистические данные –это результаты измерений, наблюдений, испытаний, анализов, опытов, а«статистические технологии» — это технологии анализа статистических данных.
Наконец, редко используемый применительно кстатистике термин «технологии». Статистический анализ данных, какправило, включает в себя целый ряд процедур и алгоритмов, выполняемыхпоследовательно, параллельно или по более сложной схеме. В частности, можновыделить следующие этапы:
— планирование статистического исследования;
— организация сбора необходимых статистическихданных по оптимальной или хотя бы рациональной программе (планирование выборки,создание организационной структуры и подбор команды эконометриков илистатистиков, подготовка кадров, которые будут заниматься сбором данных, а такжеконтролеров данных и т.п.);
— непосредственный сбор данных и их фиксация на техили иных носителях (с контролем качества сбора и отбраковкой ошибочных данныхпо соображениям предметной области);
— первичное описание данных (расчет различныхвыборочных характеристик, функций распределения, непараметрических оценокплотности, построение гистограмм, корреляционных полей, различных таблиц идиаграмм и т.д.),
— оценивание тех или иных числовых или нечисловыххарактеристик и параметров распределений (например, непараметрическоеинтервальное оценивание коэффициента вариации или восстановление зависимостимежду откликом и факторами, т.е. оценивание функции),
— проверка статистических гипотез (иногда их цепочек- после проверки предыдущей гипотезы принимается решение о проверке той илииной последующей гипотезы),
— более углубленное изучение, т.е. применениеразличных алгоритмов многомерного статистического анализа, алгоритмов диагностикии построения классификации, статистики нечисловых и интервальных данных,анализа временных рядов и др.;
— проверка устойчивости полученных оценок и выводовотносительно допустимых отклонений исходных данных и предпосылок используемыхвероятностно-статистических моделей, допустимых преобразований шкал измерения,в частности, изучение свойств оценок методом размножения выборок;
— применение полученных статистических результатов вприкладных целях (например, для диагностики конкретных материалов, построенияпрогнозов, выбора инвестиционного проекта из предложенных вариантов, нахожденияоптимальных режима осуществления технологического процесса, подведения итоговиспытаний образцов технических устройств и др.),
— составление итоговых отчетов, в частности,предназначенных для тех, кто не является специалистами в эконометрических истатистических методах анализа данных, в том числе для руководства — «лиц,принимающих решения».
Возможны и иные структуризации статистическихтехнологий. Важно подчеркнуть, что квалифицированное и результативноеприменение статистических методов — это отнюдь не проверка одной отдельновзятой статистической гипотезы или оценка параметров одного заданногораспределения из фиксированного семейства. Подобного рода операции — толькоотдельные кирпичики, из которых складывается здание статистической технологии.Между тем учебники и монографии по статистике обычно рассказывают об отдельныхкирпичиках, но не обсуждают проблемы их организации в технологию,предназначенную для прикладного использования.
Итак, процедура эконометрического илистатистического анализа данных – это информационный технологический процесс,другими словами, та или иная информационная технология. Статистическаяинформация подвергается разнообразным операциям (последовательно, параллельноили по более сложным схемам). В настоящее время об автоматизации всего процессастатистического анализа данных говорить было бы несерьезно, поскольку имеетсяслишком много нерешенных проблем, вызывающих дискуссии среди статистиков.«Экспертные системы» в области статистического анализа данных пока нестали рабочим инструментом статистиков. Ясно, что и не могли стать. Можносказать и жестче — это пока научная фантастика или даже вредная утопия.
В литературе статистические технологиирассматриваются явно недостаточно. В частности, обычно все вниманиесосредотачивается на том или ином элементе технологической цепочки, а переходот одного элемента к другому остается в тени. Между тем проблема«стыковки» статистических алгоритмов, как известно, требуетспециального рассмотрения, поскольку в результате использования предыдущегоалгоритма зачастую нарушаются условия применимости последующего. В частности,результаты наблюдений могут перестать быть независимыми, может измениться ихраспределение и т.п. (см. обсуждение этой проблемы в статье [45]).
Например, при проверке статистических гипотезбольшое значение имеют такие хорошо известные характеристики статистическихкритериев, как уровень значимости и мощность. Методы их расчета и использованияпри проверке одной гипотезы обычно хорошо известны. Если же сначала проверяетсяодна гипотеза, а потом с учетом результатов ее проверки — вторая, то итоговаяпроцедура, которую также можно рассматривать как проверку некоторой (болеесложной) статистической гипотезы, имеет характеристики (уровень значимости имощность), которые, как правило, нельзя просто выразить через характеристикидвух составляющих гипотез, а потому они обычно неизвестны. В результатеитоговую процедуру нельзя рассматривать как научно обоснованную, она относитсяк эвристическим алгоритмам. Конечно, после соответствующего изучения, например,методом Монте-Карло, она может войти в число научно обоснованных процедурприкладной статистики.
Почему живучи «низкие статистические технологии»?«Высоким статистическим технологиям» противостоят, естественно,«низкие статистические технологии». Это те технологии, которые несоответствуют современному уровню науки и техники. Обычно они одновременно иустарели, и не адекватны сути решаемых эконометрических и статистических задач.
Примеры таких технологий неоднократно критическирассматривались на страницах различных изданий. В главе 4 рассматривалисьпримеры неправильного использования критерия Вилкоксона для проверки совпадениятеоретических медиан или функций распределения двух выборок. Можно такжевспомнить критику использования классических процентных точек критериевКолмогорова и омега-квадрат в ситуациях, когда параметры оцениваются по выборкеи эти оценки подставляются в «теоретическую» функцию распределения[46]. Приходилось констатировать широкое распространение таких порочныхтехнологий и конкретных алгоритмов, в том числе в государственных имеждународных стандартах (перечень ошибочных стандартов дан в статье [47]),учебниках и распространенных пособиях. Тиражирование ошибок происходит обычно впроцессе обучения в вузах или путем самообразования при использованиинедоброкачественной литературы.
На первый взгляд вызывает удивление устойчивость«низких статистических технологий», их постоянное возрождение во всеновых статьях, монографиях, учебниках. Поэтому, как ни странно, наиболее«долгоживущими» оказываются не работы, посвященные новым научнымрезультатам, а публикации, разоблачающие ошибки, типа статьи [46]. Прошлобольше 15 лет с момента ее публикации, но она по-прежнему актуальна, посколькуошибочное применение критериев Колмогорова и омега-квадрат по-прежнемураспространено.
Целесообразно рассмотреть здесь по крайней мере триобстоятельства, которые определяют эту устойчивость ошибок.
Во-первых, прочно закрепившаяся традиция. Учебникипо т.н. «Общей теории статистики», написанные экономистами (поскольку учебнаядисциплина «статистика» официально относится к экономике), еслибеспристрастно проанализировать их содержание, состоят в основном из введения вприкладную статистику, изложенного в стиле «низких статистических технологий»,на уровне 1950-х годов. К «низкой» прикладной статистике добавленанекоторая информация о деятельности органов Госкомстата РФ. Примерно таково жеположение со статистическими методами в медицине — одни и те же «низкиестатистические технологии» переписываются из книги в книгу. Кратко говоря,«профессора-невежды порождают новых невежд» [7]. Так мы писали в 1990 г., ноникто из указанных невежд даже не поинтересовался, какие ошибки имеются в виду.Новое поколение, обучившись ошибочным алгоритмам, их использует, а с течениемвремени и достижением должностей, ученых званий и степеней– пишет новыеучебники со старыми ошибками.
Руководство Госкомстата РФ, воспользовавшиськатаклизмами начала 1990-х годов, сделало вид, что ему неизвестно о создании в1990 г. Всесоюзной статистической ассоциации и секции статистических методов вее составе. Госкомстат РФ по-прежнему закрыт от «высоких статистическихтехнологий» и работает на уровне позапрошлого века. Защита стала надежнее,поскольку в соответствии с современным стилем аппаратной работы на письма иобращения можно не отвечать.
Второе обстоятельство связано с большими трудностямипри оценке экономической эффективности применения статистических методов вообщеи при оценке вреда от применения ошибочных методов в частности. (А без такойоценки как докажешь, что «высокие статистические технологии» лучше«низких»?) Некоторые соображения по первому из этих вопросовприведены в статье [1], содержащей оценки экономической эффективности рядаработ по применению статистических методов. При оценке вреда от примененияошибочных методов приходится учитывать, что общий успех в конкретной инженернойили научной работе вполне мог быть достигнут вопреки их применению, за счет«запаса прочности» других составляющих общей работы. Например,преимущество одного технологического приема над другим можно продемонстрироватькак с помощью критерия Крамера-Уэлча проверки равенства математических ожиданий(что правильно), так и с помощью двухвыборочного критерия Стьюдента (что,вообще говоря, неверно, т.к. обычно не выполняются условия применимости этогокритерия — нет ни нормальности распределения, ни равенства дисперсий). Крометого, приходится выдерживать натиск невежд, защищающих свои ошибочные работы,например, государственные стандарты. Вместо исправления ошибок применяютсясамые разные приемы бюрократической борьбы с теми, кто разоблачает ошибки(подробнее см. статью [47]).
Третье существенное обстоятельство – трудности сознакомством с высокими статистическими технологиями. В течение последних 10 леттолько журнал «Заводская лаборатория» систематически предоставлялтакие возможности. К сожалению, поток современных отечественных и переводныхстатистических книг, выпускавшихся ранее, в частности, издательством “Финансы истатистика”, практически превратился в узкий ручеек… Возможно, болеесущественным является влияние естественной задержки во времени между созданием«новых статистических технологий» и написанием полноценной и объемнойучебной и методической литературы. Она должна позволять знакомиться с новойметодологией, новыми методами, теоремами, алгоритмами, технологиями не пократким оригинальным статьям, а при обычном обучении в высшей школе.
Как ускорить внедрение «высоких статистическихтехнологий»? Таким образом, весь арсеналиспользуемых эконометрических и статистических методов можно распределить потрем потокам:
- высокиестатистические технологии;
- классическиестатистические технологии,
- низкиестатистические технологии.
Основная современная проблема статистическихтехнологий состоит в обеспечении того, чтобы в конкретных эконометрических истатистических исследованиях использовались только технологии первых двухтипов. При этом под классическими статистическими технологиями понимаемтехнологии почтенного возраста, сохранившие свое значение для современнойстатистической практики. Таковы метод наименьших квадратов, статистикиКолмогорова, Смирнова, омега-квадрат, непараметрические коэффициенты корреляцииСпирмена и Кендалла и многие другие статистические процедуры.
Каковы возможные пути решения основной современнойпроблемы в области статистических технологий?
Бороться с конкретными невеждами — дело почтибезнадежное. Отстаивая свое положение и должности, они либо нагло игнорируютинформацию о своих ошибках, как это делают авторы ряда учебников по «Общейтеории статистики», либо с помощью различных бюрократических приемовуходят и от ответственности, и от исправления ошибок по существу (как это былосо стандартами по статистическим методам — см. статью [6]). Третий вариант — признание и исправление ошибок — встречается, увы, редко. Но встречается.
Конечно, необходима демонстрация квалифицированногоприменения высоких статистических технологий. В 1960-70-х годах этим занималасьлаборатория акад. А.Н. Колмогорова в МГУ им. М.В. Ломоносова. Секция«Математические методы исследования» журнала 2Заводскаялаборатория" опубликовала за последние 40 лет более 1000 статей в стиле«высоких статистических технологий». В настоящее время действуетИнститут высоких статистических технологий и эконометрики МГТУ им. Н.Э.Баумана.Есть, конечно, целый ряд других научных коллективов, работающих на уровне«высоких статистических технологий».
Но самое основное — обучение. Какие бы новые научныерезультаты ни были получены, если они остаются неизвестными студентам, то новоепоколение исследователей и инженеров вынуждено осваивать их по одиночке, а то ипереоткрывать. Т.е. практически новые научные результаты почти исчезают, едвапоявившись. Как уже от меячалось, избыток публикаций превратился в тормозразвития. По нашим данным, к настоящему времени по статистическим технологиямопубликовано не менее миллиона статей и книг, из них не менее 100 тысячявляются актуальными для современного специалиста. Реальное число публикаций,которые способен освоить исследователь, по нашей оценке, не превышает 2-3тысяч. Во всяком случае, в наиболее «толстом» (на русском языке)трехтомнике по статистике М. Дж. Кендалла и А. Стьюарта [8-10] приведено около2 тысяч литературных ссылок. Итак, каждый исследователь знаком не более чем с2-3% актуальных литературных источников. Поскольку существенная частьпубликаций заражена «низкими статистическими технологиями», тоисследователь самоучка имеет мало шансов выйти на уровень «высокихстатистических технологий». Одновременно приходится констатировать, чтомасса полезных результатов погребена в изданиях прошлых десятилетий и имеетмало шансов встать в ряды «высоких статистических технологий» безспециально организованных усилий современных специалистов.
Итак, еще и еще раз: основное — обучение. Несколькоогрубляя, можно сказать: что то, что попало в учебные курсы и соответствующиеучебные пособия — то сохраняется, что не попало — то пропадает. Подробнее обобучении — несколько позже. Сейчас — об упомянутом выше Институте высокихстатистических технологий и эконометрики МГТУ им. Н.Э.Баумана.
Институт высоких статистических технологий иэконометрики. Организованный нами в 1989 г. Институтвысоких статистических технологий и эконометрики (ИВСТЭ) действует на базекафедры ИБМ-2 “Экономика и организация производства” Московскогогосударственного технического университета им. Н.Э.Баумана. Институт нахоздоговорных и госбюджетных началах занимается развитием, изучением ивнедрением эконометрики и «высоких статистических технологий», т.е.наиболее современных технологий анализа экономических, технических,социологических, медицинских данных, ориентированных на использование вусловиях современного производства и экономики. Основной интерес представляютприменения «высоких статистических технологий» для анализа конкретныхэкономических данных, т.е. в эконометрике. Наиболее перспективнымпредставляется применение «высоких статистических технологий» для поддержкипринятия управленческих решений, прежде всего в таком новом (для России)современном направлении экономической науки и практики, как контроллинг (см.,например, монографию [48]).
Вначале Институтдействовал как Всесоюзный центр статистических методов и информатикиЦентрального правления Всесоюзного экономического общества. В 1990-1992 гг.было выполнено более 100 хоздоговорных работ, в том числе для НИЦентра побезопасности атомной энергетики, ВНИИ нефтепереработки, ПО “Пластик”, ЦНИИчерной металлургии им. Бардина, НИИ стали, ВНИИ эластомерных материалов иизделий, НИИ прикладной химии, ЦНИИ химии и механики, НПО “Орион”, ВНИИэкономических проблем развития науки и техники, ПО “Уралмаш”, “АвтоВАЗ”, МИИТ,Казахского политехнического института, Донецкого государственного университетаи многих других.
Затем Институт вкачестве Лаборатории эконометрических исследований разрабатывалэконометрические методы анализа нечисловых данных, а также процедуры расчета ипрогнозирования индекса инфляции и валового внутреннего продукта. Институтвысоких статистических технологий и эконометрики развивал методологиюпостроения и использования математических моделей процессов налогообложения(для Министерства налогов и сборов РФ), методологию оценки рисков реализации инновационныхпроектов высшей школы (для Министерства промышленности, науки и технологий РФ).Институт оценивал влияние различных факторов на формирование налогооблагаемойбазы ряда налогов (для Минфина РФ), прорабатывал перспективы применениясовременных статистических и экспертных методов для анализа данных о научномпотенциале (для Министерства промышленности, науки и технологий РФ). Важноенаправление связано с эколого-экономической тематикой — разработкаметодологического, программного и информационного обеспечения анализа рисковхимико-технологических объектов (для Международного научно-техническогоцентра), методов использования экспертных оценок в задачах экологическогострахования (совместно с Институтом проблем рынка РАН). Институт проводилмаркетинговые исследования (в частности, для Institute for Market Research GfK MR, Промрадтехбанка,фирм, торгующих растворимым кофе, программным обеспечением, оказывающихобразовательные услуги). Интерес вызывали работы Института по прогнозированиюсоциально-экономического развития России методом сценариев, поэкономико-математическому моделированию развития малых предприятий и созданиюсовременных систем информационной поддержки принятия решений для таких организаций.
Институтведет фундаментальные исследования в области высоких статистических технологийи эконометрики, в частности, в рамках НИЧ МГТУ им. Н.Э. Баумана и Российскогофонда фундаментальных исследований. Информация об Институте представлена насайте в ИНТЕРНЕТе (http://antorlov.nm.ru, зеркала antorlov.euro.ru,www.newtech.ru/~orlov), который в 2000 г. посетили более 10000пользователей. Институтом издается еженедельная компьютерная газета«Эконометрика» (около 1000 подписчиков). Архив выпусков газеты«Эконометрика» можно рассматривать как хрестоматию по различнымразделам эконометрики, а также по высоким статистическим технологиям.
Зачемнужны высокие статистические технологии, разве недостаточно обычныхстатистических методов? Это вполне естественный вопрос. Мысчитаем и доказываем своими теоретическими и прикладными работами, чтосовершенно недостаточно. Так, многие данные в информационных системах имеютнечисловой характер, например, являются словами или принимают значения изконечных множеств. Нечисловой характер имеют и упорядочения, которые даютэксперты или менеджеры, например, выбирая главную цель, следующую по важности ит.д. Значит, нужна статистика нечисловых данных. Она построена (см. главу 8).Далее, многие величины известны не абсолютно точно, а с некоторой погрешностью- от и до. Другими словами, исходные данные — не числа, а интервалы. Нужнастатистика интервальных данных. Она развита (см. главу 9). В монографии [48] поконтроллингу на с.138 хорошо сказано: «Нечеткая логика — мощный элегантныйинструмент современной науки, который на Западе (и на Востоке — в Японии, Китае- А.О.) можно встретить в десятках изделий — от бытовых видеокамер до системуправления сооружениями, — у нас до самого последнего времени был практическинеизвестен». Напомним, первая монография российского автора по теориинечеткости была выпущена в 1980 г. [49]. Ни статистики нечисловых данных, нистатистики интервальных данных, ни статистики нечетких данных нет и не моглобыть в классической статистике. Все это — высокие статистические технологии.Они разработаны за последние 10-30-50 лет. А обычные вузовские курсы по общейтеории статистики и по математической статистике разбирают научные результаты,полученные в первой половине ХХ века.
Важная часть эконометрики — применениевысоких статистических технологий к анализу конкретных экономических данных,что зачастую требует дополнительной теоретической работы по доработкестатистических технологий применительно к конкретной ситуации. Большое значениеимеют конкретные эконометрические модели, например, модели экспертных оценок(глава 12) или экономики качества (глава 13). И конечно, такие конкретныеприменения, как расчет и прогнозирование индекса инфляции (глава 7)… Сейчасуже многим ясно, что годовой бухгалтерский баланс предприятия может бытьиспользован для оценки его финансово-хозяйственной деятельности только спривлечением данных об инфляции.
Термин«эконометрика» пока мало известен в России. А между тем в мировойнауке эконометрика занимает достойное место. Напомним, что Нобелевские премиипо экономике получили эконометрики Ян Тильберген, Рагнар Фриш, Лоуренс Клейн,Трюгве Хаавельмо. В 2000 г. к ним добавились еще двое Джеймс Хекман и Дэниель Мак-Фадден. Выпускается ряд научныхжурналов, полностью посвященных эконометрике, в том числе: Journal of Econometrics(Швеция), Econometric Reviews (США), Econometrica (США), Sankhya (IndianJournal of Statistics. Ser.D. Quantitative Economics. Индия), PublicationsEconometriques (Франция).
Применениеэконометрики дает заметный экономический эффект. Например, в США — не менее 20миллиардов долларов ежегодно только в области статистического контролякачества. А что у нас? Повторим, что в секции «Математические методыисследования» журнала «Заводская лаборатория» за последние 40лет напечатано более 1000 статей по высоким статистическим технологиям и ихприменениям. Однако в нашей стране по ряду причин эконометрика не быласформирована как самостоятельное направление научной и практическойдеятельности, в отличие, например, от Польши, не говоря уже об англосаксонскихстранах. В результате специалистов — эконометриков у нас на порядок меньше, чемв США и Великобритании (Американская статистическая ассоциация включает более20000 членов).
Преподаваниевысоких статистических технологий и эконометрики.Приходится с сожалением констатировать, что в России практически отсутствуетподготовка специалистов по высоким статистическим технологиям. В курсах потеории вероятностей и математической статистике обычно даются лишь классическиеосновы этих дисциплин, разработанные в первой половине ХХ в., а преподавателисвою научную деятельность предпочитают посвящать доказательству теорем, имеющихлишь внутриматематический интерес, а не высоким статистическим технологиям.
Внастоящее время появилась надежда на эконометрику. В России начинаютразвертываться эконометрические исследования и преподавание эконометрики, в томчисле не только Институтом высоких статистических технологий и эконометрики.Преподавание этой дисциплины ведется в Московском государственном университетеэкономики, статистики и информатики (МЭСИ), на экономическом факультете МГУ им.М.В. Ломоносова, в Высшей школе экономики и еще в нескольких экономическихучебных заведениях. Среди технических вузов факультет «Инженерный бизнес именеджмент» МГТУ им. Н.Э.Баумана имеет в настоящее время приоритет впреподавания эконометрики.
Мыполагаем, что экономисты, менеджеры и инженеры, прежде всего специалисты поконтроллингу [48], должны быть вооружены современными средствами информационнойподдержки, в том числе высокими статистическими технологиями и эконометрикой.Очевидно, преподавание должно идти впереди практического применения. Ведь какприменять то, чего не знаешь?
Одинраз — в 1990-1992 гг. мы уже обожглись на недооценке необходимостипредварительной подготовки тех, для кого предназначены современные компьютерныесредства. Наш коллектив (Всесоюзный центр статистических методов и информатикиЦентрального правления Всесоюзного экономического общества)разработалсистему диалоговых программных систем обеспечения качества продукции. Ихсозданием руководили ведущие специалисты страны. Но распространение программныхпродуктов шло на 1-2 порядка медленнее, чем ожидалось. Причина стала ясна несразу. Как оказалось, работники предприятий просто не понимали возможностейразработанных систем, не знали, какие задачи можно решать с их помощью, какойэкономический эффект они дадут. А не понимали и не знали потому, что в вузахникто их не учил статистическим методам управления качеством. Без такогосистематического обучения нельзя обойтись — сложные концепции «напальцах» за пять минут не объяснишь.
Естьи противоположный пример — положительный. В середине 1980-х годов в советскойсредней школе ввели новый предмет «Информатика». И сейчас молодоепоколение превосходно владеет компьютерами, мгновенно осваивая быстропоявляющиеся новинки, и этим заметно отличается от тех, кому за 30-40 лет. Еслибы удалось ввести в средней школе курс вероятности и статистики — а такой курсесть в Японии и США, Швейцарии, Кении и Ботсване, почти во всех странах (см.подготовленный ЮНЕСКО сборник докладов [50]) — то ситуация могла бы быть резкоулучшена. Надо, конечно, добиться, чтобы такой курс был построен на высокихстатистических технологиях, а не на низких. Другими словами, он должен отражатьсовременные достижения, а не концепции пятидесятилетней или столетней давности.
Необходимоактивизировать деятельность Российской ассоциации статистических методов. Но нестоит ограничиваться только внутренними проблемами сообщества специалистов постатистическим методам. Например, в созданном в России профессиональномэкономическом обществе — Ассоциации контроллеров России — необходимо, на нашвзгляд, выделить направление, посвященное применению высоких статистическихтехнологий и эконометрики в контроллинге, а также учесть необходимость обученияосновам этого направления при формировании мощной образовательной базыконтроллинга.
Литература
1. ОрловА.И. Что дает прикладная статистика народному хозяйству?/ Вестникстатистики. 1986. № 8. С.52 — 56
2. КомаровД; М., Орлов А.И. Роль методологических исследований в разработкеметодоориентированных экспертных систем (на примере оптимизационных истатистических методов) — В сб.: Вопросы применения экспертных систем. — Минск:Центросистем, 1988. С.151-160.
3. ЛенинВ.И. Развитие капитализма в России. Процесс образования внутреннего рынка длякрупной промышленности. — М.: Политиздат, 1986. — XII+610 с.
4. ГнеденкоБ.В. Курс теории вероятностей: Учебник. — Изд. 6-е, переработанное идополненное. — М.: Наука, Гл. ред. физ. — мат. лит., 1988. — 448 с.
5. БернштейнС.Н. Современное состояние теории вероятностей и ее приложений. — В сб.: ТрудыВсероссийского съезда математиков в Москве 27 апреля — 4 мая 1927 г. — М.-Л.:ГИЗ, 1928. С.50-63.
6. ОрловА.И. О современных проблемах внедрения прикладной статистики и другихстатистических методов. / Заводская лаборатория. 1992. Т.58. № 1. С.67-74.
7. ОрловА.И. О перестройке статистической науки и её применений. / Вестник статистики.1990. № 1. С.65 — 71.
8. КендаллМ., Стьюарт А. Теория распределений. — М.: Наука, 1966. — 566 с.
9. КендаллМ., Стьюарт А. Статистические выводы и связи. — М.: Наука, 1973. — 899 с.
10. КендаллМ., Стьюарт А. Многомерный статистический анализ и временные ряды. — М.: Наука,1976. — 736 с.
11. НалимовВ.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационногопроцесса. — М.: Наука, 1969. — 192 с.
12. ГОСТ11.011-83. Прикладная статистика. Правила определения оценок и доверительныхграниц для параметров гамма-распределения. — М.: Изд-во стандартов. 1984. — 53с.
13. БольшевЛ.Н., Смирнов Н.В. Таблицы математической статистики. — М.: Наука, 1965 (1-еизд.), 1968 (2-е изд.), 1983 (3-е изд.).
14. ОрловА.И. Устойчивость в социально-экономических моделях. — М.: Наука,1979. — 296 с.
15. СмолякС.А., Титаренко Б.П. Устойчивые методы оценивания: Статистическая обработканеоднородных совокупностей. — М;: Статистика, 1980. — 208 с.
16. ЭфронБ. Нетрадиционные методы многомерного статистического анализа. — М.: Финансы истатистика, 1988. — 263 с.
17. СуппесП., Зинес Дж. Основы теории измерений. — В сб.: Психологические измерения. -М:Мир,1967. С. 9-110.
18. ПфанцагльИ. Теория измерений. — М.: Мир, 1976. — 166 с.
19. ЗадеЛ. Понятие лингвистической переменной и его применение к принятию приближенныхрешений. — М.: Мир, 1976. — 168 с.
20. ДэвидГ. Метод парных сравнений. — М.: Статистика, 1978. — 144 с.
21. МатеронЖ. Случайные множества и интегральная геометрия. — М.: Мир, 1978. — 318 с.
22. ТерехинаА.Ю. Анализ данных методами многомерного шкалирования. — М.: Наука, 1986. — 168с.
23. ПерекрестВ.Т. Нелинейный типологический анализ социально-экономической информации:Математические и вычислительные методы. — Л.: Наука, 1983. — 176 с.
24. КемениДж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. — М.:Советское радио, 1972. — 192 с.
25. ТюринЮ.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловойинформации. — М.: Научный Совет АН СССР по комплексной проблеме«Кибернетика», 1981. — 80 с.
26. ЛитвакБ.Г. Экспертная информация: Методы получения и анализа. — М.: Радио и связь,1982. — 184 с.
27. ОрловА.И. Статистика объектов нечисловой природы и экспертные оценки. — В сб.:Экспертные оценки. Вопросы кибернетики. Вып.58. — М.: Научный Совет АН СССР покомплексной проблеме «Кибернетика», 1979. С.17-33.
28. Анализнечисловой информации в социологических исследованиях. / Под ред. В.Г.Андреенкова, А.И.Орлова, Ю.Н. Толстовой. — М.: Наука, 1985. — 220 с.
29. ОрловА.И. Асимптотическое поведение статистик интегрального типа. / Доклады АН СССР.1974. Т.219. № 4. С.808-811.
30. ОрловА.И. Асимптотическое поведение статистик интегрального типа. — В сб.:Вероятностные процессы и их приложения. Межвузовский сборник. — М.: МИЭМ, 1989.С.118-123.
31. ГорскийВ.Г. Современные статистические методы обработки и планирования экспериментов вхимической технологии. — В сб.: Инженерно-химическая наука для передовыхтехнологий. Международная школа повышения квалификации Труды третьей сессии.26-30 мая 1997, Казань, Россия / Под ред. В.А. Махлина. — М.: Научно-исследовательскийфизико-химический институт им. Карпова, 1997. С.261-293.
32. ПлошкоБ.Г., Елисеева И.И. История статистики: Учебное пособие. — М.: Финансы истатистика. 1990. — 295 с.
33. ЭльясбергП.Е. Измерительная информация. Сколько ее нужно, как ее обрабатывать? — М.:Наука, 1983. — 208 с.
34. КрамерГ. Математические методы статистики. — М.: Мир, 1975. — 648 с.
35. ОрловА.И., Орловский И.В. О поправках на группировку. — В сб.: Прикладноймногомерный статистический анализ. — М.: Наука, 1978. — С.339-342.
36. ОрловА.И. Поправка на группировку для коэффициента корреляции. / Экономика иматематические методы. — 1980. — Т.XVI. — №4. — С.800-801.
37. ОрловА.И. Методы оценки близости допредельных и предельных распределений статистик./ Заводская лаборатория. — 1998. — Т.64. — № 5. — С.64-67.
38. ФеллерВ. Введение в теорию вероятностей и ее приложения. Т.2. — М.: Мир, 1984. — 751с.
39. БоровковА.А. Теория вероятностей. — М.: Наука, 1976. — 352 с.
40. КаганА.М., Линник Ю.В., Рао С.Р. Характеризационные задачи математическойстатистики. — М.: Наука, 1972. — 656 с.
41. ИбрагимовИ.А., Хасьминский Р.З. Асимптотическая теория оценивания. — М.: Наука, 1979. — 528 с.
42. ОрловА.И. О нецелесообразности использования итеративных процедур нахождения оценокмаксимального правдоподобия. / «Заводская лаборатория», 1986. Т.52.No.5. С.67-69.
43. НикитинЯ.Ю. Асимптотическая эффективность непараметрических критериев. — М.: Наука,1995. — 240 с.
44. НикитинаЕ.П., Фрейдлина В.Д., Ярхо А.В. Коллекция определений термина«статистика» / Межфакультетская лаборатория статистических методов.Вып.37. — М.: Изд-во Московского государственного университета им. М.В.Ломоносова, 1972. — 46 с.
45. ОрловА.И. Проблема множественных проверок статистических гипотез. / Заводская лаборатория.1996. Т.62. No.5. С.51-54.
46. ОрловА.И. Распространенная ошибка при использовании критериев Колмогорова иомега-квадрат. / Заводская лаборатория. — 1985. — Т.51. — No.1.- С.60-62.
47. ОрловА.И. Сертификация и статистические методы. / Заводская лаборатория. 1997. Т.63.No.З. С.55-62.
48. Контроллингв бизнесе. Методологические и практические основы построения контроллинга ворганизациях / А.М. Карминский, Н.И. Оленев, А.Г. Примак, С.Г.Фалько. — М.:Финансы и статистика, 1998. — 256 с.
49. ОрловА. И. Задачи оптимизации и нечеткие переменные. — М.: Знание, 1980.- 64с.
50. The teaching of statistics / Studies inmathematics education. Vol.7. — Paris, UNESCO, 1989. — 258 pp.