Лекции по статистике
Введение.
Термин "статистика" ("status"в переводе с латинского означает государство) появился в 17 веке.
Первоначально статистика возникла как наука количественного описания происходящих в обществе процессов с использованием "меры, веса и числа". В современной жизни слово "статистика" имеет два основополагающих значения: во-первых, оно обозначает сами числа или данные. Под этим термином обычно понимают некоторую информацию об окружающем нас мире, не интересуясь способом ее получения, представляющую потенциальный интерес и упорядоченную определенным образом. Примерами данных являются результаты переписи населения, сведения о концентрации вредных веществ в воздушном бассейне города, соответствующие друг другу курсы валют и так далее.
Все возрастающее количество накапливаемых данных порождает проблемы возможного сокращения их количества без существенной потери полезной информации, потенциально в них заложенной. Поэтому, во-вторых, под статистикой понимают науку извлечения полезной информации из множества данных.
Существует несколько определений статистики - наука принятия разумных решений перед лицом неопределенности. Для принятия решения в отношении исследуемого объекта мы должны:
иметь о нем информацию, т.е. располагать определенным образом собранными и сгруппированными результатами наблюдения;
иметь методы анализа и обработки статистических данных в зависимости от цели исследования.
Таким образом, статистика - наука о методах организации сбора, систематизации и обработки статистических данных с целью удобного из представления, правильной интерпретации и получения научных и практических выводов.
Статистика может быть представлена в виде двух составных частей:
описательной статистики, позволяющей с помощью специальных методов осуществить удобное представление данных для последующего анализа в виде частотных распределений, графических изображений и различных характеристик.
математической (теории принятия статистических решений)
Зарождение описательной статистики отмечается уже в 2200 году до н. э. в. Китае. В дальнейшем, практическая статистика в административных и военных целях находит применение в Египте, Персии, Римской Империи, подтверждая свое название. Значительно позднее, на базе теории вероятностей, зародилась математическая статистика, благодаря трудам выдающихся математиков Я..Бернулли, П. Лапласа, К. Гаусса.
Общей чертой сведений, составляющих статистику служит то, что в каждом конкретном случае объектом статистического изучения является статистическая совокупность, состоящая из качественно однородных единиц, но отличающихся по каким-то другим признакам. Качественная однородность элементов совокупности определяется исходя из цели исследования. Генеральной совокупностью называются все изучаемые однородные объекты, выборка - специально организованная часть генеральной совокупности.
Задача получения необходимой информации решается с помощью двух взаимно дополняющих принципов: выборочного метода и свертки информации. Первый предусматривается отказ от генеральной совокупности в пользу выборки, второй - заменяет всю выборку несколькими числами (ее характеристиками). Статистические характеристики различают как для генеральной совокупности, так и для выборки. Необходимо сделать несколько замечаний по применению статистических методов:
результаты статистического анализа могу противоречить действительности, это происходит тогда, когда исследователь не понимает проблемы либо применяемых статистических методов.
существует возможность умышленно вводить в заблуждение с помощью статистики.
в последнее время специалисты стараются применят все более тонкие статистические методы. Такой практики следует избегать, так как цель анализа не показать знание сложных аналитических методов, а правильно решить задачу.
Статистические методы в современной жизни находят свое применение в самых разнообразных областях: в экономике (исследования рынка и производства, контроль качества продукции, подбор кадрового персонала, предсказания конъюнктуры рынка и т.д.), в управлении (аппарат которого нуждается в информации о народонаселении, совокупном общественном продукте, внешней торговле). Без применения стат. методов практически невозможно никакое социально-научное исследование. С появлением ЭВМ, статистика проникает и в медицину, биологию, психологию и другие науки.
В зависимости от учреждений, использующих статистические методы, различают официальную и неофициальную статистику. Под официальной статистикой понимают статистические исследования и меры по сбору информации, предпринимаемые в соответствии с правительственными распоряжениями. К неофициальной статистике относят исследования, проводимые в фирмах, институтах общественного мнения и на предприятиях.
Тема 1. Основные понятия описательной статистики.
Совокупность - множество элементов, обладающих некоторыми общими свойствами, существенными для их характеристики.
Единица совокупности - элемент совокупности, подлежащий наблюдению. Признак - свойство элементов совокупности. Самым важным различием признаков является их классификация на контролируемые (входные) и признаки отклика (выходные). Например, уровень финансовых вложений в производство является входным признаком, а продуктивность - выходным. Второй особенностью наблюдений является математический характер соответствующего признака, в частности, тип множества допустимых значений, который принимает признак в процессе наблюдения. В этом смысле признаки делятся на качественные и количественные. Качественные признаки это те признаки, которыми объект либо обладает, либо не обладает. К ним относятся: пол, цвет волос или национальность и т.д. Такие признаки не являются физически измеримыми, однако они могут быть двузначными или многозначными.
Количественные признаки являются измеримыми и определяются путем измерений, взвешиваний и подсчетов. В соответствии с этим различают дискретные и непрерывные количественные признаки. Дискретные признаки могут принимать лишь изолированные значения, отличающиеся друг от друга на некоторую конечную величину. Примером таких признаков является академическая система успеваемости: 5 - отлично, 4 - хорошо и т.д. Совокупность возможных значений, среди которых изменяется (варьируется) дискретный признак называется системой вариант. Отдельное значение системы называется вариантой.
Непрерывные признаки могут принимать любые значения на некотором числовом интервале, отличающиеся друг от друга на сколь угодно малую величину. К таким признакам относятся, например, возраст, рост и вес человека.
Множество допустимых значений признаков как качественного, так и количественного вида характеризуются типом шкалы в которой они изменяются. различают три основных типа шкал: номинальная или шкала наименований, порядковая и количественная, количественная в свою очередь подразделяется на интервальную, шкалу отношений и абсолютную шкалу.
В номинальной шкале все элементы совокупности классифицированы и классы обозначены номерами. То, что номер оного класса больше или меньше другого, еще не говорит о свойствах элементов, за исключением того, что они различаются. Номинальная шкала может быть категоризированной или нет. В категоризированной шкале исследователю заранее известны уровни, принимаемые признаком. Например, раса, цвет глаз, автомобильные номера, клинические диагнозы и т.д.
В порядковой шкале соответствующие значения чисел, которые присваиваются элементам совокупности, отражают количество анализируемого признака. Однако равные разности числе не означают равных разностей в количествах признака. Например, твердость минералов, награды за заслуги, военные ранги, уровень интеллекта и т.д.
В интервальной шкале существует единица измерения ( масштаб), при помощи которой объекты можно не только упорядочить, но и приписать им числа так. чтобы равные разности чисел, присвоенные объектам, отражали бы равные различия в количествах измеряемого признака. Нулевая точка интервальной шкалы выбирается произвольно и не указывает на отсутствие признака. Например, календарное врем, шкалы температур и т.д.
В шкале отношений, числа, присвоенные элементам совокупности, обладают всеми интервальными признаками, но помимо этого существует абсолютный нуль, который свидетельствует об отсутствии анализируемого признака. Отношение чисел, присвоенных элементам в процессе измерений. отражает количественное отношение наличия признака. Например, рост, вес, объем, урожайность.
Абсолютная шкала является безразмерной шкалой отношений.
Тема 2. Вариационные ряды.
Пример 1.
Приведем оценки 45 студентов по курсу статистика в порядке сдачи экзамена:
5 3 3 4 2 4 4 3 5 4 4 5 5 4 4
3 3 3 2 5 5 4 4 4 3 4 3 4 5 4
4 4 4 3 3 4 3 4 3 2 3 2 3 3 3
При таком представлении информации трудно делать какие-либо выводы об успеваемости. Произведем группировку данным путем подсчета количества различных оценок.
оценки
2
3
4
5
количество
4
6
8
7
Как видим, вместо 45 чисел осталось 8, при этом повысилась информативность таблицы, более 50% студентов сдали предмет на хорошо и отлично. Данный пример показывает, что эти данные лучше сгруппировать, то есть разделить их на однородные группы по некоторому признаку. Благодаря группировке данные приобретают систематизированный вид. Если данные систематизированы по времени, то моделью группировки будет временный ряд. Если же по любому другому признаку - то ряд распределения. А для количественных признаков - вариационный ряд.
Пусть Х - одномерный количественный признак и в результате n его измерений наблюдалось n его значений x(1),x(2).....x(n), среди которых могут быть одинаковые. Эти значения называют вариантами. Пуст среди имеющихся n вариант имеется k различных .Причем x1 встречается m1 раз, xk - mk раз. Понятно, что .
Определение.
Вариационным рядом называется последовательность различных вариант. записанных в возрастающем порядке вместе с соответствующими частотами. Вариационный ряд обычно записывается в одном из видов: в таблице с частотами mi, через относительные частоты Wi=mi/n. В зависимости от типа признака различают дискретные и интервальные вариационные ряды. В зависимости от объема исходных данных и области допустимых значений одномерного количественного признак, частотные распределения также подразделяются на дискретные и интервальные. Если различных вариант очень много (более 10-15), то эти варианты группируют, выбирая определенное число интервалов группировки и получая таким образом интервальное частотное распределение. Алгоритм группировки массива данных состоит из следующих шагов:
находят минимальную и максимальную варианты
весь диапазон значений признака [Xmin,Xmax] разбивают на к интервалов одинаковой длины
Число К обычно берется в пределах 10-15. Редки случаи, когда требуется более 25 и менее 8 группировок. Существуют формулы для определения "оптимального" значения К и построения таким образом оптимального распределения частот. Формула Старджеса . Для больших n эта формула дает оценку снизу для К.
находят граничные точки каждого из интервалов и т.д.
подсчитываем число вариант Mi, попавших в интервал , причем варианты, попавшие на границы интервалов, относят только к одному из интервалов, результат заносят в таблицу
Пример 2.
Приведем вариационный ряд почасовой оплаты 303 рабочих промышленности
Xi
2.49
2.50
2.51
2.52
2.53
2.54
2.55
2.56
2.57
2.58
2.59
2.6
2.61
Mi
1
4
1
1
0
3
2
0
3
2
1
8
1
2.62
3
2.72
9
2.82
11
2.92
6
3.02
2
3.12
0
3.22
1
3.32
1
2.63
0
2.73
3
2.83
3
2.93
2
3.03
0
3.13
0
3.23
0
3.33
0
2.64
5
2.74
10
2.84
4
2.94
4
3.04
3
3.14
2
3.24
0
3.34
2
2.65
7
2.75
11
2.85
7
2.95
8
3.05
4
3.15
4
3.25
3
3.35
2
2.66
3
2.76
4
2.86
5
2.96
5
3.06
2
3.16
2
3.26
1
3.36
0
2.67
2
2.77
2
2.87
3
2.97
2
3.07
0
3.17
0
3.27
0
3.37
1
2.68
3
2.78
9
2.88
8
2.98
3
3.08
2
3.18
2
3.28
0
2.69
2
2.79
5
2.89
4
2.99
1
3.09
0
3.19
1
3.29
0
2.70
14
2.8
22
2.90
16
3.0
9
3.10
7
3.20
4
3.30
4
2.71
4
2.81
3
2.91
3
3.01
1
3.11
0
3.21
0
3.31
0
Построим для данного ряда интервальное частотное распределение.
X min = 2,49 Xmax=3,37
Для удобства вычислений возьмем К=10. и т.д.
Для наглядного представления дискретных частотных распределений могут применяться вертикальные линии. Каждый из примеров можно рассматривать либо как выборку, либо как генеральную совокупность. Обычно данные собирают и анализируют для практических результатов.
пример.
Абсолютное частотное распределение прибыли 100 крупных межнациональных компаний, базирующихся в США за 1988 г.
Класс компании, размер прибыли, млн.$
Число компаний в классе
-1500-0
3
|||
0-500
41
|||| |||| |||| |||| |||| |||| |||| |||| |||| |||| |
500 - 1000
32
|||| |||| |||| |||| |||| |||| |||| ||||
1000 - 1500
9
|||| |||| |
1500 - 2000
6
|||| ||
2000 - 2500
6
|||| ||
2500 - 5500
3
|||
3. Графическое изображение статистических данных.
Обычно табличное распределение частот дополняют его графическим представлением. Схематически все множество графических представлений статистических данных разделяют на два класса: диаграммы и линейные изображения. К классу линейных графиков относятся полигон, кумулятивная кривая, кривая концентрации, огива.
Полигоном частот называют ломаную, отрезки которой соединяют точки
Иногда крайние точки соединяют с точками, имеющими нулевую ординату.
пример. (с оценками)
Полигоном относительных частот называют ломаную, отрезки которой соединяют точки .
Замечание.
Если на ось абсцисс наносить возможные исходы событий, а на ось ординат - вероятности этих исходов, то ломаная линия, характеризующая изменение вероятностей различных исходов событий при испытаниях называется полигоном распределения вероятностей.
Кумулятивная кривая (кривая сумм) - ломаная, составленная по последовательно суммированным, т.е. накопленным частотам или относительным частотам. При построении кумулятивной кривой дискретного признака на ось абсцисс наносятся значения признака, а ординатами служат нарастающие итоги частот. Соединением вершин ординат прямыми линиями получают кумуляту. При построении кумуляты интервального признака, на ось абсцисс откладываются границы интервалов и верхним значениям присваивают накопленные частоты. Кумулятивную кривую называют полигоном накопленных частот.
Если на ось ординат нанести значение признака, а накопленные частоты - на ось абсцисс, то получим кривую, называемую огивой.
Кривой концентрации или кривой Лоренца называют кривую относительной концентрации суммарного значения признака. Пусть имеется вариационный ряд, отражающий, например, частотное распределение семей по их доходам, где число (процент) семей с доходом . Тогда общий доход
- суммарный доход.
Относительный накопленный доход
Построение кривой Лоренца осуществляется следующим образом: по оси абсцисс откладывают накопленные относительные частоты, а по оси ординат накопленный относительный доход.
Если доход распределяется по семьям равномерно, то кривая Лоренца описывается прямой ОВ. Это означает, что 10% семей получают 10% общего дохода и т.д.
абсолютная (полная) концентрация задается ломаной ОАВ. Это означает, что преобладающее число семей ( например 99%) совсем не имеют дохода и только 1% имеет весь суммарный доход.
В промежуточных случаях между этими экстремальными графиками кривая Лоренца описывает увеличение концентрации дохода в руках небольшой части семей при приближении ее графика к кривой ОАВ, при уменьшении концентрации ее график располагается ближе к прямой ОВ. Концентрация определяется площадью области ОСВ, чем больше величина площади, тем сильнее концентрация. Площадь S можно найти по формуле средних прямоугольников. В качестве меры концентрации используется коэффициент Джини:
пример.
4.ДИАГРАММЫ.
Диаграмма ( от греческого diagramma - изображение, чертеж, рисунок) - это графическое изображение, наглядно показывающее соотношение между сравниваемыми величинами. Диаграммы бывают различных видов: полосовые (ленточные), столбиковые, квадратные, круговые, секторные, фигурные, радиальные, знак Варзара.
Полосовые - особенно наглядны при сравнении величин, связанных между собой в единое целое. Ширина полос должна быть одинаковой. По длине полосы разбиваются на части, пропорциональные изображаемым величинам.
пример 1.
Данные по классификации безработных в США (средние по месяцам)
Год
ищут работу
частично занятые
нет работы
1989
6.5
4.9
0.9
1990
6.9
5.1
0.8
1991
8.4
6.0
1.1
Основным видом столбиковых диаграмм являются гистограммы.
Гистограммой частот называют ступенчатую фигуру, состоящую из прямоугольников, основанием которых служат частотные интервалы длины h, а высоты равны отношению Mi/h - плотность частоты. Для построения гистограммы частот на оси абсцисс откладывают частичные интервалы, а над ними на расстоянии Mi/h проводят отрезки параллельные основанию. Гистограммой относительных частот называют ступенчатую фигуру, состоящую из прямоугольников, основанием которых случат частичные интервалы длиной h, а высоты равны Wi/h.
Гистограмма относительных частот - аналог плотности распределения непрерывной случайной величины. Иногда высоты прямоугольников в гистограмме не делят на h, но указывают над столбиками значение высоты и над осью ординат пишут, что ее значение надо делить на h. Такую гистограмму называют масштабированной.
пример.
при построении квадратных и круговых диаграмм площади квадратов или кругов выражают изображаемые величины.
пример. Сравнение грузооборота. В СНГ в 1990 г. грузооборот железнодорожного транспорта составил 3505,2 тыс. т, морского - 853.9, автомобильного - 458.9. (Вычислить корни квадратные - сторона квадрата)
Круговые секторные диаграммы применяют для графического изображения составных частей целого. Для из построения необходимо изображаемые данные выразить в градусах, т.к. 1% составляет 3,6 градусов, то соответствующие показатели для определения центральных улов надо умножить на 3.6. Чтобы легче различать сектора используют различную раскраску или штриховку.
радиальные - они строятся в полярной системе координат и используются для изображения признаков, периодически изменяющихся во времени (в большинстве своем сезонных колебаний). Вычисляется среднее арифметическое, затем строится окружность радиуса равного среднему арифметическому. Данная окружность делится на нужное число секторов (обычно 12) и на каждом радиальном направлении откладываются точки в соответствии со значениями Xi.
фигурные диаграммы строятся 2 основными способами: данные изображаются либо фигурами различных размеров, либо разной численностью фигур одинакового размера. Второй способ чаще используется, каждая фигура содержит определенное число единиц признака и сравнение осуществляется по числу фигурок. При этом допускается дробление знака до половины.
Stem & leaf- данные можно представить в виде десятков и единиц, где десятки - это стебли, единицы - лепестки.
Диаграмма "знак Варзара" названа в честь русского статистика. С помощью данной диаграммы можно изображать многомерные признаки на плоскости посредством прямоугольников с разным соотношением между основанием и высотой. Одна из компонент признака изображается основанием прямоугольника, вторая его высотой, третья - равная произведению двух других размером получившейся площади.
примеры.
Тема 4. Числовые характеристики одномерных признаков.
С целью обеспечения обработки частотных распределений и свертки информации, заключенной в статистических данных, вариационные ряды описывают с помощью определенных числовых характеристик. Такими характеристиками для одномерных статистических рядов являются следующие:
характеристики положения
характеристики рассеяния
характеристики формы;
5. СРЕДНИЕ ВЕЛИЧИНЫ. СТЕПЕННЫЕ СРЕДНИЕ.
Схематично средние величины можно представить следующим образом:
Степенная средняя
Эта формула задает не взвешенную или простую среднюю степенную. Она применяется для не сгруппированных данных. Для сгруппированных данных применяется следующая формула
Рассмотрим различные значения q.
q =-1 получаем среднее гармоническое
q =0 среднее геометрическое
q = 1 среднее арифметическое
q = 2 среднее квадратичное
Справедливо следующее неравенство для средних величин
Рассмотрим среднее арифметическое:
Отметим наиболее важные свойства среднего арифметического:
если из всех значений признака вычесть некоторую константу С,
если все значения признака умножить на с, то и среднее умножается на С.
пусть исходные данные представлены следующим образом
, т.е. данные разбиты на q групп . Взвешенное среднее арифметическое из групповых или частотных средних будет равняться общей средней.
сумма взвешенных отклонений значений признака от общей средней арифметической равна 0:
сумма квадратов взвешенных отклонений значений признака от
меньше аналогичной суммы от любой другой меры положения
, разность между этими суммами равна .
Рассмотрим среднее гармоническое q=-1.
Свойства среднего гармонического:
взвешенная гармоническая из групповых гармонических равна общей гармонической
Применение того или иного вида весов зависит от представления значений признака.
Примеры.
Таким образом, если между показателями существует обратная зависимость как например между числом изготовленных деталей и затратами времени на одно изделие, то надо использовать среднее гармоническое. А если между показателями существует прямая зависимость, например между индивидуальными зарплатами и фондом зарплат, то применяется среднее арифметическое.
Рассмотрим геометрическое среднее:
Вычислим предел:
6. Свойства среднего геометрического:
общее среднее геометрическое может быть найдено по формуле .
если кроме признака х рассмотреть признак у со значениями у(1), у(2),......,, то имеем
если есть несколько совокупностей , то имеем
Среднее геометрическое применяется для расчета среднего коэффициента или среднего темпа роста
пример.
Пусть известно, что за 5 лет выпуск промышленной продукции предприятия вырос в 1.5 раза, тогда средний ежегодный коэффициент роста , т.е. 108,4 %, а средний ежегодный прирост равен 8,4%.
Среднее квадратическое q=2.
Обычно применяются, если в качестве берутся отклонения значений признака от среднеарифметических .
Если n