Один из наиболее общих законов объективного мира – закон всеобщей связи и зависимости между явлениями. Естественно, что, исследуя явления в самых различных областях, статистика неизбежно сталкивается с зависимостями как между количественными, так и между качественными показателями, признаками. Ее задача – обнаружить (выявить) такие зависимости и дать им количественную характеристику.
Среди взаимосвязанных признаков (показателей) одни могут рассматриваться как определенные факторы, влияющие на изменение других (факторные), а вторые (результативные) – как следствие, результат влияния первых.
Существует 2 вида связи между отдельными признаками: функциональная и стохастическая (статистическая), частным случаем которой является корреляционная.
Связь между двумя переменными x и y называется функциональной, если определенному значению переменной x строго соответствует одно или несколько значений другой переменной y, и с изменением значения x значение y меняется строго определенно. Такие связи обычно встречаются в точных науках. Например, известно, что площадь квадрата равна квадрату его стороны (S = a2). Это соотношение характерно для каждого единичного случая (квадрата), это так называемая жестко детерминированная связь. Такие связи можно встретить и в таможенном деле. Например, связь между суммой адвалорной таможенной пошлины (y) и таможенной стоимостью товара (x), облагаемого по фиксированной адвалорной ставке таможенной пошлины, например 5%, легко можно выразить формулой y = 0,05х. Для изучения функциональных связей применяется индексный метод, который рассматривается в теме 8.
Существуют и иного рода связи, где взаимно действуют многие факторы, комбинация которых приводит к вариации значений результативного признака (показателя) при одинаковом значении факторного признака. Например, при изучении зависимости величины таможенных платежей, поступающих в федеральный бюджет, от количества товаров, перемещаемых через таможенную границу государства, (или от стоимостного товарооборота) последние будут рассматриваться как факторный признак, а величина таможенных платежей – как результативный. Между ними нет жестко детерминированной связи, т.е. при одном и том же количестве перемещенных через таможенную границу товаров (или стоимости товарооборота) величина таможенных платежей, перечисленных разными таможнями будет различной, так как кроме количества товаров, перемещаемых через таможенную границу государства, (или стоимость товарооборота) на величину таможенных платежей влияет много других факторов (различная номенклатура товаров, для которых применяются различные таможенные пошлины, сборы и льготы; различные таможенные режимы перемещения товаров через таможенную границу и др.), комбинация которых вызывает вариацию величины таможенных платежей.
Там, где взаимодействует множество факторов, в том числе и случайных, выявить зависимости, рассматривая единичный случай, невозможно. Такие связи можно обнаружить только при массовом наблюдении как статистические закономерности. Выявленная таким образом связь именуется стохастической.
Корреляционная связь – понятие более узкое, чем стохастическая связь, это ее частный случай. Именно корреляционные связи являются предметом изучения статистики.
Корреляционная связь – это связь, проявляющаяся при большом числе наблюдений в виде определенной зависимости между средним значением результативного признака и признаками-факторами. Другими словами, корреляционную связь условно можно рассматривать как своего рода функциональную связь средней величины одного признака (результативного) со значением другого (или других). При этом, если рассматривается связь средней величины результативного показателя y с одним признаком-фактором x, корреляция называется парной, а если факторных признаков 2 и более (x1, x2, …, xm) – множественной.
По характеру изменений x и y в парной корреляции различают прямую и обратную связь. При прямой связи значения обоих признаков изменяются в одном направлении, т.е. с увеличением (уменьшением) значений x увеличиваются (уменьшаются) и значения y. При обратной связи значения факторного и результативного признаков изменяются в разных направлениях.
Изучение корреляционных связей сводится в основном к решению следующих задач:
1) выявление наличия (отсутствия) корреляционной связи между изучаемыми признаками;
2) измерение тесноты связи между двумя (и более) признаками с помощью специальных коэффициентов (эта часть исследования именуется корреляционным анализом);
3) определение уравнения регрессии – математической модели, в которой среднее значение результативного признака у рассматривается как функция одной или нескольких переменных – факторных признаков (эта часть исследования именуется регрессионным анализом).
Общий термин «корреляционно-регрессионный анализ» подразумевает всестороннее исследование корреляционных связей (т.е. решение всех трех задач).
Корреляционно-регрессионный анализ находит широкое применение в таможенной статистике. Рассмотрим его практическое применение на примере данных таможенной статистики внешней торговли России в 2006 году – таблица 33.
Таблица 33. Величина внешнеторгового оборота и таможенных платежей
Месяц
Оборот,
млрд.долл.
Платеж,
млрд.руб.
Январь
27,068
172,17
Февраль
29,889
200,90
Март
34,444
231,83
Апрель
33,158
232,10
Май
37,755
233,40
Июнь
37,554
236,99
Июль
37,299
246,53
Август
40,370
253,62
Сентябрь
37,909
256,43
Октябрь
38,348
261,89
Ноябрь
39,137
259,36
Декабрь
46,298
278,87
В качестве факторного признака x примем стоимостной внешнеторговый товарооборот в млрд. долл. США, а в качестве результативного признака y – величину таможенных платежей в федеральный бюджет в млрд. руб.
x
y
27,068
172,17
29,889
200,90
33,158
232,10
34,444
231,83
37,299
246,53
37,554
236,99
37,755
233,40
37,909
256,43
38,348
261,89
39,137
259,36
40,370
253,62
46,298
278,87
Для выявления наличия и характера корреляционной связи между двумя признаками в статистике используется ряд методов.
1. Рассмотрение параллельных данных (значений x и y в каждой из n единиц). Единицы наблюдения необходимо расположить по возрастанию значений факторного признака х (как в таблице справа) и затем сравнить с ним (визуально) поведение результативного признака у.
В нашей задаче в 6 случаях по мере увеличения значений x увеличиваются и значения y, а в 5 случаях этого не происходит, поэтому затруднительно говорить о прямой связи между х и у.
2. Графический метод – это графическое изображение корреляционной зависимости. Для этого, имея n взаимосвязанных пар значений x и y и пользуясь прямоугольной системой координат, каждую такую пару изображают в виде точки на плоскости с координатами x и y. Совокупность полученных точек представляет собой корреляционное поле (рис. 21), а соединяя последовательно нанесенные точки отрезками, получают ломаную линию, именуемую эмпирической линией регрессии (рис. 22).
Рис. 21. Корреляционное поле Рис. 22. Эмпирическая линия регрессии
Визуально анализируя график, можно предположить характер зависимости между признаками x и y. В нашей задаче эмпирическая линия регрессии (рис.22) похожа на восходящую прямую, что позволяет выдвинуть гипотезу о наличии прямой зависимости между величиной стоимостного внешнеторгового товарооборота и величиной таможенных платежей в федеральный бюджет.
3. Коэффициент корреляции знаков (Фехнера) – простейший показатель тесноты связи, основанный на сравнении поведения отклонений индивидуальных значений каждого признака (x и y) от своей средней величины. При этом во внимание принимаются не величины отклонений () и (), а их знаки («+» или «–»). Определив знаки отклонений от средней величины в каждом ряду, рассматривают все пары знаков и подсчитывают число их совпадений (С) и несовпадений (Н). Тогда коэффициент Фехнера рассчитывается как отношение разности чисел пар совпадений и несовпадений знаков к их сумме, т.е. к общему числу наблюдаемых единиц:
. (106)
Очевидно, что если знаки всех отклонений по каждому признаку совпадут, то КФ=1, что характеризует наличие прямой связи. Если все знаки не совпадут, то КФ=–1 (обратная связь). Если же åС=åН, то КФ=0. Итак, как и любой показатель тесноты связи, коэффициент Фехнера может принимать значения от 0 до 1. Однако, если КФ=1, то это ни в коей мере нельзя воспринимать как свидетельство функциональной зависимости между х и у.
Средние значения факторного и результативного признаков определяем по формуле средней арифметической простой (10):
; .
В двух последних столбцах таблицы 34 приведены знаки отклонений каждого х и у от своей средней величины. Число совпадений знаков – 10, а несовпадений – 2, тогда определяем коэффициент корреляции знаков (Фехнера) по формуле (106):
КФ=
Таблица 34. Вспомогательная таблица для расчета коэффициента Фехнера
№
п/п
x
y
x –
y –
27,068
172,17
–
–
29,889
200,90
–
–
33,158
232,10
–
–
34,444
231,83
–
–
37,299
246,53
+
+
37,554
236,99
+
–
37,755
233,40
+
–
37,909
256,43
+
+
38,348
261,89
+
+
39,137
259,36
+
+
40,370
253,62
+
+
46,298
278,87
+
+
Итого
439,229
2864,09
Обычно такое значение показателя тесноты связи характеризует заметную прямую зависимость между x и y, однако, следует иметь в виду, что поскольку КФ зависит только от знаков и не учитывает величину самих отклонений х и у от их средних величин, то он практически характеризует не столько тесноту связи, сколько ее наличие и направление.
4. Линейный коэффициент корреляции – самый популярный измеритель тесноты линейной связи между двумя количественными признаками x и y. Он основан на предположении, что при полной независимости признаков x и у отклонения значений факторного признака от средней () носят случайный характер и должны случайно сочетаться с различными отклонениями (). При наличии значительного перевеса совпадений или несовпадений таких отклонений делается предположение о наличии связи между x и y.
В отличие от КФ в линейном коэффициенте корреляции учитываются не только знаки отклонений от средних величин, но и значения самих отклонений, выраженные для сопоставимости в единицах среднего квадратического отклонения t:
и .
Линейный коэффициент корреляции r представляет собой среднюю величину из произведений нормированных отклонений для x и у:
, (107) или . (108)
Числитель формулы (108), деленный на n, представляющий собой среднее произведение отклонений значений двух признаков от их средних значений, называется коэффициентом ковариации – это мера совместной вариации факторного x и результативного y признаков:
(109)
Недостатком коэффициента ковариации является то, что он не нормирован, в отличие от линейного коэффициента корреляции. Очевидно, что линейный коэффициент корреляции представляет собой частное от деления ковариации между х и у на произведение их средних квадратических отклонений:
. (110)
Путем несложных математических преобразований можно получить и другие модификации формулы линейного коэффициента корреляции, например:
, (111) , (112)
, (113) . (114)
Линейный коэффициент корреляции может принимать значения от –1 до +1, причем знак определяется в ходе решения. Например, если , то r по формуле (111) будет положительным, что характеризует прямую зависимость между х и у, в противном случае (r<0) – обратную связь. Если , то r=0, что означает отсутствие линейной зависимости между х и у, а при r=1 – функциональная зависимость между х и у. Следовательно, всякое промежуточное значение r от 0 до 1 характеризует степень приближения корреляционной связи между х и у к функциональной. Существует эмпирическое правило (шкала Чэддока) для оценки тесноты связи, представленное в таблице 35.
Таблица 35. Шкала Чэддока
| r |
Теснота связи
менее 0,1
отсутствует линейная связь
0,1 ÷ 0,3
слабая
0,3 ÷ 0,5
умеренная
0,5 ÷ 0,7
заметная
более 0,7
сильная (тесная)
Таким образом, коэффициент корреляции при линейной зависимости служит как мерой тесноты связи, так и показателем, характеризующим степень приближения корреляционной зависимости между х и у к линейной. Поэтому близость значения r к 0 в одних случаях может означать отсутствие связи между х и у, а в других свидетельствовать о том, что зависимость не линейная.
В нашей задаче для расчета r построим вспомогательную таблицу 36.
Таблица 36. Вспомогательные расчеты линейного коэффициента корреляции
№
п/п
x
y
tx
ty
tx ty
xy
27,068
172,17
90,905
4422,804
-1,993
-2,408
4,799
634,078
4660,298
29,889
200,90
45,070
1426,888
-1,403
-1,368
1,919
253,594
6004,700
33,158
232,10
11,864
43,220
-0,720
-0,238
0,171
22,644
7695,972
34,444
231,83
4,659
46,843
-0,451
-0,248
0,112
14,773
7985,153
37,299
246,53
0,485
61,714
0,146
0,284
0,041
5,472
9195,322
37,554
236,99
0,906
2,836
0,199
-0,061
-0,012
-1,603
8899,922
37,755
233,40
1,328
27,817
0,241
-0,191
-0,046
-6,079
8812,017
37,909
256,43
1,707
315,270
0,273
0,643
0,176
23,199
9721,005
38,348
261,89
3,047
538,975
0,365
0,841
0,307
40,525
10042,958
39,137
259,36
6,424
427,904
0,530
0,749
0,397
52,430
10150,572
40,37
253,62
14,195
223,378
0,788
0,541
0,426
56,310
10238,639
46,298
278,87
94,004
1615,705
2,027
1,455
2,950
389,722
12911,123
Итого
439,229
2864,09
274,594
9153,353
11,241
1485,066
106317,681
В нашей задаче: = = 4,784; == 27,618.
Тогда линейный коэффициент корреляции по формуле (107): r = 11,241/12 = 0,937.
Аналогичный результат получаем по формуле (108):
r = 1485,066/(12*4,784*27,618) = 0,937
Или по формуле (111):
r = (106317,681/12 – 36,602*238,674) / (4,784*27,618) = 0,937,
Найденное значение свидетельствует о том, что связь между величиной стоимостного внешнеторгового товарооборота и величиной таможенных платежей в федеральный бюджет очень близка к функциональной (сильная по шкале Чэддока).
Проверка коэффициента корреляции на значимость (существенность). Интерпретируя значение коэффициента корреляции, следует иметь в виду, что он рассчитан для ограниченного числа наблюдений и подвержен случайным колебаниям, как и сами значения x и y, на основе которых он рассчитан. Другими словами, как любой выборочный показатель, он содержит случайную ошибку и не всегда однозначно отражает действительно реальную связь между изучаемыми показателями. Для того, чтобы оценить существенность (значимость) самого r и, соответственно, реальность измеряемой связи между х и у, необходимо рассчитать среднюю квадратическую ошибку коэффициента корреляции σr. Оценка существенности (значимости) r основана на сопоставлении значения r с его средней квадратической ошибкой: .
Существуют некоторые особенности расчета σr в зависимости от числа наблюдений (объема выборки) – n.
1. Если число наблюдений достаточно велико (n>30), то σr рассчитывается по формуле (115):
. (115)
Обычно, если >3, то r считается значимым (существенным), а связь – реальной. Задавшись определенной вероятностью, можно определить доверительные пределы (границы) r = (), где t – коэффициент доверия, рассчитываемый по интегралу Лапласа (см. таблицу 17).
2. Если число наблюдений небольшое (n<30), то σr рассчитывается по формуле (116):
, (116)
а значимость r проверяется на основе t-критерия Стьюдента, для чего определяется расчетное значение критерия по формуле (117) и сопоставляется c tТАБЛ.
. (117)
Табличное значение tТАБЛ находится по таблице распределения t-критерия Стьюдента (см. Приложение 9) при уровне значимости α=1-β и числе степеней свободы ν=n–2. Если tРАСЧ> tТАБЛ , то r считается значимым, а связь между х и у – реальной. В противном случае (tРАСЧ< tТАБЛ) считается, что связь между х и у отсутствует, и значение r, отличное от нуля, получено случайно.
В нашей задаче число наблюдений небольшое, значит, оценивать существенность (значимость) линейного коэффициента корреляции будем по формулам (116) и (117):
= 0,349/3,162 = 0,110;
= 0,937/0,110 = 8,482.
Из приложения 9 видно, что при числе степеней свободы ν = 12 – 2 = 10 (в 10-й строке) и вероятности β = 95% (уровень значимости α =1 – β = 0,05) tтабл=2,2281, а при вероятности 99% (α=0,01) tтабл=3,169, значит, tРАСЧ > tТАБЛ, что дает возможность считать линейный коэффициент корреляции r = 0,937 значимым.
5. Подбор уравнения регрессии представляет собой математическое описание изменения взаимно коррелируемых величин по эмпирическим (фактическим) данным. Уравнение регрессии должно определить, каким будет среднее значение результативного признака у при том или ином значении факторного признака х, если остальные факторы, влияющие на у и не связанные с х, не учитывать, т.е. абстрагироваться от них. Другими словами, уравнение регрессии можно рассматривать как вероятностную гипотетическую функциональную связь величины результативного признака у со значениями факторного признака х.
Уравнение регрессии можно также назвать теоретической линией регрессии. Рассчитанные по уравнению регрессии значения результативного признака называются теоретическими. Они обычно обозначаются или (читается: «игрек, выравненный по х») и рассматриваются как функция от х, т.е. = f(x).
Найти в каждом конкретном случае тип функции, с помощью которой можно наиболее адекватно отразить ту или иную зависимость между признаками х и у, — одна из основных задач регрессионного анализа. Выбор теоретической линии регрессии часто обусловлен формой эмпирической линии регрессии; теоретическая линия как бы сглаживает изломы эмпирической линии регрессии. Кроме того, необходимо учитывать природу изучаемых показателей и специфику их взаимосвязей.
Для аналитической связи между х и у могут использоваться виды уравнений, приведенные в таблице 28 (при условии замены t на x). Обычно зависимость, выражаемую уравнением прямой, называют линейной (или прямолинейной), а все остальные — криволинейными зависимостями.
Выбрав тип функции (таблица 28), по эмпирическим данным определяют параметры уравнения. При этом отыскиваемые параметры должны быть такими, при которых рассчитанные по уравнению теоретические значения результативного признака были бы максимально близки к эмпирическим данным.
Существует несколько методов нахождения параметров уравнения регрессии. Наиболее часто используется метод наименьших квадратов (МНК). Его суть заключается в следующем требовании: искомые теоретические значения результативного признака должны быть такими, при которых бы обеспечивалась минимальная сумма квадратов их отклонений от эмпирических значений, т.е.
.
Поставив данное условие, легко определить, при каких значениях a0, a1 и т.д. для каждой аналитической кривой эта сумма квадратов отклонений будет минимальной. Данный метод уже использовался нами в теме 6 «Статистическое изучение динамики ВЭД», поэтому, воспользуемся формулой (95) для нахождения параметров теоретической линии регрессии, заменив параметр t на x:
(118)
Выразив из первого уравнения системы (118) a0, получим:
. (119)
Подставив (119) во второе уравнение системы (118), затем разделив обе его части на n, получим:
. (120)
Применяя 3 раза формулу средней арифметической, получим:
. (121)
Раскрыв скобки и перенеся члены без a1 в правую часть уравнения, выразим a1:
. (122)
Параметр a1 в уравнении линейной регрессии называется коэффициентом регрессии, который показывает на сколько изменяется значение результативного признака y при изменении факторного признака x на единицу.
Исходные данные и расчеты для нашего примера представим в таблице 37.
Таблица 37. Вспомогательные расчеты для нахождения уравнения регрессии
№
п/п
x
y
x2
xy
27,068
172,17
732,677
4660,298
187,124
223,612
2657,453
29,889
200,90
893,352
6004,700
202,377
2,181
1317,497
33,158
232,10
1099,453
7695,972
220,052
145,147
346,774
34,444
231,83
1186,389
7985,153
227,006
23,274
136,153
37,299
246,53
1391,215
9195,322
242,443
16,706
14,202
37,554
236,99
1410,303
8899,922
243,821
46,669
26,495
37,755
233,40
1425,440
8812,017
244,908
132,441
38,864
37,909
256,43
1437,092
9721,005
245,741
114,256
49,940
38,348
261,89
1470,569
10042,958
248,115
189,761
89,122
39,137
259,36
1531,705
10150,572
252,381
48,710
187,871
40,370
253,62
1629,737
10238,639
259,048
29,459
415,076
46,298
278,87
2143,505
12911,123
291,100
149,580
2748,498
Итого
439,229
2864,09
16351,437
106317,681
2864,115
1121,795
8027,945
По формуле (122): = 5,407.
По формуле (119): a0 = 238,674 – 5,407*36,602 = 40,767.
Отсюда получаем уравнение регрессии:=40,767+5,407x, подставляя в которое вместо x эмпирические значения факторного признака (2-й столбец таблицы 37), получаем выравненные по прямой линии теоретические значения результативного признака (6-й столбец таблицы 37). Для иллюстрации различий между эмпирическими и теоретическими линиями регрессии построим график (рисунок 6).
Рис.6. График эмпирической и теоретической линий регрессии
Из рисунка 6 видно, что небольшие различия между эмпирической и теоретической линиями регрессии существуют, поэтому необходимо оценить существенность коэффициента регрессии и уравнения связи, для чего определяют среднюю ошибку параметров уравнения регрессии и сравнивают их с этой ошибкой.
Расчет ошибок параметров уравнения регрессии основан на использовании остаточной дисперсии, характеризующей расхождение (отклонение) между эмпирическими и теоретическими значениями результативного признака. Для линейного уравнения регрессии () средние ошибки параметров a1 и a2 определяются по формулам (123) и (124) соответственно:
, (123) , (124) . (125)
Значимость параметров проверяется путем сопоставления его значения со средней ошибкой. Обозначим это соотношение как t:
, (126)
При большом числе наблюдений (n>30) параметр ai считается значимым, если >3.
Если выборка малая (n<30), то значимость параметра ai проверяется путем сравнения с табличным значения t-критерия Стьюдента при числе степеней свободы ν=n-2 и заданном уровне значимости α (Приложение 9). Если рассчитанное по формуле (126) значение больше табличного, то параметр считается значимым.
В нашем примере по формуле (125): = 9,669.
Находим среднюю ошибку параметра a0 по формуле (123): = 3,06.
Теперь находим среднюю ошибку параметра a1 по формуле (124): =0,639.
Теперь по формуле (126) для параметра a0: =13,3.
И по той же формуле для параметра a1: =8,46.
Так как выборка малая, то задавшись стандартной значимостью α=0,05 находим в 10-й строке Приложения 9 табличное значение tα=2,23, которое значительно меньше полученных значений 13,3 и 8,46, что свидетельствует о значимости обоих параметров уравнения регрессии.
Наряду с проверкой значимости отдельных параметров осуществляется проверка значимости уравнения регрессии в целом или, что то же самое, проверка адекватности модели с помощью критерия Фишера по Приложению 8. Данный метод уже использовался нами для проверки адекватности уравнения тренда в предыдущей теме, поэтому воспользовавшись формулой (97) в нашем примере получим:
Сравнивая расчетное значение критерия Фишера Fр = 71,56 с табличным Fт = 4,96, определяемое по Приложению 8 при числе степеней свободы ν1 = k – 1 = 2 –1 = 1 и ν2 = n – k = 12 – 2 = 10 (т.е. 1-й столбец и 10-я строка) и стандартном уровне значимости α=0,05, можно сделать вывод, что уравнение регрессии значимо.
6. Коэффициент эластичности показывает, на сколько процентов изменяется в среднем результативный признак y при изменении факторного признака x на 1%. Он рассчитывается на основе уравнения регрессии:
, (127)
где – первая производная уравнения регрессии y по x.
Коэффициент эластичности – величина переменная, т.е. изменяется с изменением значений фактора x. Так, для линейной зависимости :
. (128)
Применительно к рассмотренному уравнению регрессии, выражающему зависимость величины таможенных платежей в федеральный бюджет от величины стоимостного внешнеторгового оборота (= 40,767 + 5,407x), коэффициент эластичности по формуле (128): .
Подставляя в данное выражение разные значения x, получаем и разные значения Э. Так, например, при x = 40 коэффициент эластичности = 0,84, а при x = 50 соответственно = 0,87 и т.д. Это значит, что при увеличении внешнеторгового товарооборота x с 40 до 40,4 млрд.долл. (т.е. на 1%), величина таможенных платежей возрастет в среднем на 0,84% прежнего уровня; при увеличении x с 50 до 50,5 млрд.долл. (т.е. на 1%) y возрастет на 0,87% и т.д.