Критерий Вилкоксона

Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона Установлено, что двухвыборочный критерий Вилкоксона Манна-Уитни предназначен для проверки гипотезы H0 PX Y 12, где X - случайная величина, распределенная как элементы первой выборки, а Y - второй. Разобраны три примера. В прикладной математической статистике часто рассматривают вероятностную

модель двух независимых выборок числовых результатов наблюдений. Первая выборка описывается набором m случайных величин X1, X2, , Xm, имеющих одну и ту же функцию распределения Fx, а вторая выборка - набором n случайных величин Y1, Y2, , Yn, имеющих одну и ту же функцию распределения

Gx, причем все эти mn случайных величин X1, X2, , Xm, Y1, Y2, , Yn независимы в совокупности. Без ограничения общности можно считать, что m n, в противном случае выборки можно поменять местами. Обычно предполагается, что функции Fx и Gx непрерывны и строго возрастают. Из непрерывности этих функций следует, что с вероятностью 1 все mn результатов наблюдений различны. В реальных статистических данных иногда встречаются совпадения,

но сам факт их наличия - свидетельство нарушений предпосылок только что описанной базовой математической модели. Статистика S двухвыборочного критерия Вилкоксона определяется следующим образом. Все элементы объединенной выборки X1, X2, Xm, Y1, Y2, , Yn упорядочиваются в порядке возрастания. Элементы первой выборки X1, X2, Xm занимают в общем вариационном ряду места с номерами

R1, R2, Rm, другими словами, имеют ранги R1, R2, Rm . Тогда S R1 R2 Rm . Статистика U Манна-Уитни определяется как число пар Xi, Yj таких, что Xi Yj , среди всех mn пар, в которых первый элемент - из первой выборки, а второй - из второй. Как известно 1, с.160, U mn mm12 - S . Поскольку S и U линейно связаны, то часто говорят о критерии

Вилкоксона Манна-Уитни. Не будем обсуждать здесь вопросы истории и терминологии, относящиеся к S и U. Критерий Вилкоксона - один из самых известных инструментов непараметрической статистики наряду со статистиками типа Колмогорова-Смирнова и коэффициентами ранговой корреляции. Свойствам этого критерия и таблицам его критических значений уделяется место во многих монографиях по математической и прикладной статистике см например,

1-3. Однако в литературе имеются и неточные утверждения относительно возможностей критерия Вилкоксона. Так, одни полагают, что с его помощью можно обнаружить различие между функциями распределения Fx и Gx. По мнению других, этот критерий нацелен на проверку равенства медиан распределений, соответствующих выборкам. И то, и другое, строго говоря, неверно. Настоящая статья написана, чтобы внести ясность в рассматриваемый вопрос. Ссылки на публикации с неточными и ошибочными утверждениями не приводим по нескольким

причинам. Во-первых, таких публикаций слишком много. Во-вторых, некоторые из них после исключения ошибок представляют ценность для практически работающего статистика. В-третьих, зачем создавать рекламу плохим книгам. И т.п. Введем некоторые обозначения. Пусть F-1t - функция, обратная к функции распределения Fx. Она определена на отрезке 01. Положим Lt GF-1t.

Поскольку Fx непрерывна и строго возрастает, то F-1t и Lt обладают теми же свойствами. Важную роль в дальнейшем изложении будет играть величина a PX Y . Как нетрудно показать, a PX Y . Введем также b2 - 1 -a2 , g2 - a2 . Тогда математические ожидания и дисперсии статистик Вилкоксона и Манна-Уитни согласно 1, с.160 выражаются через введенные величины

EU mna , ES mn mm12 - EU mn1- a mm12, DS DU mn n - 1 b2 m - 1 g2 a1 -a . 1 Когда объемы обеих выборок безгранично растут, распределения статистик Вилкоксона и Манна-Уитни являются асимптотически нормальными см например, 1, гл.5 и 6 с параметрами, задаваемыми формулами 1 . Если выборки полностью однородны, т.е. их функции распределения совпадают, справедлива гипотеза

H0 Fx Gx при всех x, 2 то Lt t и a 12. Подставляя в формулы 1, получаем, что ES mmn12, DS mnmn1 12 3 . Следовательно, распределение нормированной и центрированной статистики Вилкоксона T S - mmn12 mnmn1 12 - 12 4 при росте объемов выборок приближается к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Правила принятия решений и таблица критических значений для критерия

Вилкоксона строятся в предположении справедливости гипотезы полной однородности, описываемой формулой 2. А что будет, если эта гипотеза неверна Другими словами, какова мощность критерия Вилкоксона Пусть объемы выборок достаточно велики, так что можно пользоваться асимптотической нормальностью статистики Вилкоксона. Тогда в соответствии с формулами 1 статистика T будет асимптотически нормальна с параметрами ET 12mn 12 12 - a mn1 -

12 , DT 12 n - 1 b2 m - 1 g2 a1 -a mn1 - 1 . 5 Из формул 5 видно большое значение гипотезы H01 a PX Y 12 . 6 Если эта гипотеза неверна, то, поскольку m n, справедлива оценка u ET u 12m n 2n1 - 1 12 u 12 - au , а потому u ET u безгранично растет при росте объемов выборок. В то же время, поскольку b2 1, g2 1, a1 -a14, то DT 12 n - 1 m - 1 14 mn1 - 7 Следовательно, вероятность отклонения гипотезы

H01 , когда она неверна, т.е. мощность критерия Вилкоксона как критерия проверки гипотезы 6, стремится к 1 при возрастании объемов выборок, т.е. критерий Вилкоксона является состоятельным для этой гипотезы при альтернативе АH01 a PX Y 12 . 8 . Если же гипотеза 6 верна, то статистика T асимптотически нормальна с математическим ожиданием 0 и дисперсией, определяемой формулой

DT 12 n - 1 b2 m - 1 g2 14 mn1 - 1 . 9 Гипотеза 6 является сложной, дисперсия 9, как показывают приводимые ниже примеры, в зависимости от значений b2 и g2 может быть как больше 1, так и меньше 1, но согласно неравенству 7 никогда не превосходит 12. Приведем пример двух функций распределения Fx и Gx таких, что гипотеза 6 выполнена, а гипотеза 2 - нет. Поскольку a PX Y FxdGx , 1 - a PY X GxdFx 10 , и a 12 в случае справедливости гипотезы 2, то для выполнения

условия 6 необходимо и достаточно, чтобы Fx - Gx dFx 0 11 , а потому естественно в качестве Fx рассмотреть функцию равномерного распределения на интервале -1 1. Тогда формула 11 переходит в условие Fx - Gx dFx - 12 Gx - x 12 dx 0 11 . Это условие выполняется, если функция Gx - x 12 является нечетной. Пример 1. Пусть функции распределения

Fx и Gx сосредоточены на интервале -1 1, на котором Fx x 12 , Gx x 1 1p sin px 2 . Тогда x F-1t 2t - 1, Lt GF-1t 2 t 1p sin p2t - 1 2 t 12p sin p2t - 1 . Условие 11 выполнено, поскольку функция Gx - x 12 является нечетной. Следовательно, a 12 . Начнем с вычисления g2 t2 dLt - 14 t2 dt 12p sin p2t -

1 - 14 . Поскольку dt 12p sin p2t - 1 1 cos p2t - 1 dt, то g2 t2 1 cos p2t - 1 dt - 14 112 t2 cos p2t - 1 dt . С помощью замены переменных t x 1 2 получаем, что t2cos p2t - 1 dt 18 x2cos px dx 2x cos px dx cos px dx . В правой части последнего равенства стоят табличные интегралы 4, с.71. Проведя соответствующие вычисления, получаем, что в правой части стоит 18 - 4 p2 - 12 p2. Следовательно, g2 112 - 12 p2 0,032672733

Перейдем к b2 . Поскольку b2 L2tdt- 14 t 12p sin p2t - 12 dt- 14 , то b2 112 1pt sin p2t - 1 dt 12p2 sin2 p2t - 1 dt . С помощью замены переменных t x1 2 переходим к табличным интегралам 4, с.65 b2 112 4p-1x sin px dx 4p-1sin px dx 8p2-1sin2px dx. Проведя необходимые вычисления, получаем, что b2 112 4p-1 - 2p 0 8p2-1 112 - 38p2-1 0,045337893 Следовательно, для рассматриваемых функций распределения нормированная

и центрированная статистика Вилкоксона см. формулу 4 асимптотически нормальна с математическим ожиданием 0 и дисперсией см. формулу 9 DT 0,544 n 0,392 m 2,064 mn1 - 1 . Как легко видеть, дисперсия всегда меньше 1. Это значит, что в рассматриваемом случае гипотеза полной однородности 2 при проверке с помощью критерия Вилкоксона будет приниматься чаще, чем если она на самом деле верна.

На наш взгляд, это означает, что критерий Вилкоксона нельзя считать критерием для проверки гипотезы 2 при альтернативе общего вида. Он не всегда позволяет проверить однородность - не при всех альтернативах. Точно так же критерии типа хи-квадрат нельзя считать критериями проверки гипотез согласия и однородности - они позволяют обнаружить не все различия, поскольку некоторые скрадывает группировка. Обсудим теперь, действительно ли критерий Вилкоксона нацелен на проверку равенства медиан распределений,

соответствующих выборкам. Пример 2. Построим семейство пар функций распределения Fx и Gx таких, что их медианы различны, но для Fx и Gx выполнена гипотеза 6. Пусть распределения сосредоточены на интервале 0 1, и на нем Gx x , а Fx имеет кусочно-линейный график с вершинами в в точках 0 0, l , 12 , d , 34, 1 1. Следовательно, Fx 0 при x 0 Fx x 2 l на 0 l

Fx 12 x - l 4 d - 4 l на l d Fx 34 x - d 4 - 4 d на d 1 Fx 1 при x 1. Очевидно, что медиана Fx равна l, а медиана Gx равна 12 . Согласно соотношению 9 для выполнения гипотезы 6 достаточно определить d как функцию l , d d l , из условия Fx dx 12 . Вычисления дают d d l 3 1 - l 2 . Учитывая, что d лежит между l и 1, не совпадая ни с тем, ни с другим, получаем ограничения на l, а

именно, 13 l 35 . Итак, построено искомое семейство пар функций распределения. Пример 3. Пусть, как и в примере 2, распределения сосредоточены на интервале 0 1, и на нем Fx x , а Gx - функция распределения, сосредоточенного в двух точках - b и 1, т.е. Gx 0 при x, не превосходящем b Gx h на b 1 Gx 1 при x 1. С такой функцией Gx легко проводить расчеты. Однако она не удовлетворяет принятым выше условиям непрерывности

и строгого возрастания. Вместе с тем легко видеть, что она является предельной сходимость в каждой точке отрезка 0 1 для последовательности функций распределения, удовлетворяющих этим условиям, а распределение статистики Вилкоксона для пары функций распределения примера 3 является предельным для последовательности соответствующих распределений статистики Вилкоксона, полученных в рассматриваемых условиях непрерывности и строгого возрастания. Условие PX Y 12 выполнено, если h 1 - b-1 2 при b из отрезка 0 12 .

Поскольку h 12 при положительном b, то очевидно, что медиана Gx равна b, в то время как медиана Fx равна 12 . Значит, при b 12 медианы совпадают, при всех иных положительных b - различны. При b 0 медианой Gx является любая точка из отрезка 0 1. Легко подсчитать, что в условиях примера 3 b2 b1- b-1 4 , g2 1- 2b 4 . Следовательно, распределение нормированной и центрированной статистики

Вилкоксона будет асимптотически нормальным с математическим ожиданием 0 и дисперсией DT 3 n-1 b1- b-1 m-1 1-2b 1 mn1 - 1 . Проанализируем величину DT в зависимости от параметра b и объемов выборок m и n. При достаточно больших m и n DT 3 w b 1 - b-1 3 1 - w 1 - 2 b , с точностью до величин порядка mn-1 , где w nmn.

Значит, DT - линейная функция от w, а потому достигает экстремальных значений на границах интервала изменения w, т.е. при w 0 и w 1. В первом случае, при b1-b-1 1-2b, минимум равен 3b1-b-1 при w 1, а максимум равен 31 - 2b при w 0. Во втором случае, при b1-b-1 1-2b, максимум равен 3b1-b-1 при w 1, а минимум равен 31 - 2b при w 0. Если же b1-b-1 1-2b, а это равенство справедливо при bb0 1 - 2-12 0,293, то DT 3 212 - 1 1,2426 при всех w из отрезка 0 1.

Первый из описанных выше случаев имеет быть при b b0 , при этом минимум DT возрастает от 0 при b0, w1 - предельный случай до 3212 - 1 при bb0 , w - любом, а максимум уменьшается от 3 при b0, w0 - предельный случай до 3 212 - 1 при bb0 , w - любом. Второй случай относится к b из интервала b0 12. При этом минимум убывает от приведенного выше значения для bb0 до 0 при b12 , w0 - предельный случай

, а максимум возрастает от того же значения при bb0 до 3 при b12 , w0. Таким образом, DT может принимать все значения из интервала 0 3 в зависимости от значений b и w. Если DT 1, то при применении критерия Вилкоксона к выборкам с рассматриваемыми функциями распределения гипотеза однородности 2 будет приниматься чаще при соответствующих значениях b и w - с вероятностью, сколь угодно близкой к 1, чем если бы она самом деле была верна.

Если 1 DT 3, то гипотеза 2 также принимается достаточно часто. Так, если уровень значимости критерия Вилкоксона равен 0,05, то асимптотическая критическая область этого критерия имеет вид T U T U 1,96. Если - самый плохой случай - DT3, то гипотеза 2 принимается с вероятностью 0,7422. При проверке гипотезы однородности мы рассмотрели различные виды нулевых и альтернативных гипотез -

гипотезу 2 и ее отрицание в качестве альтернативы, гипотезу 6 и ее отрицание, гипотезы о равенстве или различии медиан. В теоретических работах по математической статистике любят гипотезу сдвига, в которой альтернативой гипотезе 2 является гипотеза H1 Fx Gx r при всех x и некотором r, отличным от 0 . 12 Если верна альтернативная гипотеза H1, то вероятность PX Y отлична от 12, и критерий Вилкоксона является состоятельным.

В некоторых прикладных постановках гипотеза 12 представляется естественной. Например, если одним и тем же прибором проводятся две серии измерений двух значений некоторой величины физической, химической и т.п При этом функция распределения Gx описывает погрешности измерения одного значения, а Gxr - другого вопреки распространенному заблуждению, хорошо известно, что распределение погрешностей

измерений, как правило, не является нормальным - см. об этом консультацию 5. Однако в большинстве прикладных постановок нет никаких оснований считать, что отсутствие однородности всегда выражается столь однозначным образом, как следует из формулы 12. Поэтому мы, рассматривая в статье 6 проблему выбора статистического критерия для проверки однородности, пришли к выводу о необходимости использования критериев, состоятельных против любого отклонения от

гипотезы однородности 2, прежде всего критериев Смирнова и типа омега-квадрат Лемана-Розенблатта. Почему же математики так любят гипотезу сдвига 12 Да потому, что она дает возможность доказывать глубокие математические результаты, например, об асимптотической оптимальности критериев, как это продемонстрировано в монографии Я.Ю.Никитина 7. К сожалению, с точки зрения прикладной статистики это напоминает поиск ключей под фонарем,

где светло, а не там, где они потеряны. Впрочем, новые методы обычно сначала разрабатываются в лаборатории и только потом переносятся на производство. Отметтим еще одно обстоятельство. Часто говорят в соответствии с классическим подходом математической статистики, что нельзя проверять нулевые гипотезы без рассмотрения альтернативных. Однако при практическом анализе данных зачастую полностью ясна формулировка той гипотезы, которую желательно проверить например, гипотезы полной однородности

- см. формулу 2, в то время как формулировка альтернативной гипотезы не очевидна то ли это гипотеза о неверности равенства 2 хотя бы для одного значения x, то ли это альтернатива 8, то ли - альтернатива сдвига 12, и т.д В таких случаях целесообразно обернуть задачу - исходя из статистического критерия найти альтернативы, относительно которых он состоятелен. Именно это и проделано в настоящей статье для критерия

Вилкоксона. Литература 1. Гаек Я Шидак З. Теория ранговых критериев М. Наука, 1971 376 с. 2. Большев Л.Н Смирнов Н.В. Таблицы математической статистики М. ВЦ АН СССР, 1968 474 с. 3. Холлендер М Вулф Д.А. Непараметрические методы статистики М. Финансы и статистика, 1983 518 с. 4. Смолянский М.Л. Таблицы неопределенных интегралов

М. ГИФМЛ, 1961 108 с. 5. Орлов А.И. Заводская лаборатория. 1991. Т.57. 7. С.64-66. 6. Орлов А.И. Вестник Академии медицинских наук СССР. 1987. 2. С.88-94. 7. Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев М. Наука, 1995 240 с.