Министерствообразования и науки Украины
ДонецкийНациональный университет
Кафедра теориивероятностей и математической статистики
Курсоваяработа
на тему:«Законы больших чисел»
Выполнила:
студентка I курса
группа А
Полева Е. Л.
Проверила:
Гатун А. П.
Донецк-2007
Одинаковораспределенные случайные величины
Для решения многихпрактических задач необходимо знать комплекс условий, благодаря которомурезультат совокупного воздействия большого количества случайных факторов почтине зависит от случая. Данные условия описаны в нескольких теоремах, носящихобщее название закона больших чисел, где случайная величина />к равна 1 или 0 в зависимости от того, будет лирезультатом k-го испытания успех или неудача.Таким образом, Sn является суммой n взаимно независимых случайных величин, каждая из которых принимаетзначения 1 и 0 с вероятностями р и q.
/>Простейшаяформа закона больших чисел — теорема Бернулли, утверждающая, что если вероятностьсобытия одинакова во всех испытаниях, то с увеличением числа испытаний частотасобытия стремится к вероятности события и перестает быть случайной.
Теорема Пуассона утверждает, что частота события всерии независимых испытаний стремится к среднему арифметическому еговероятностей и перестает быть случайной.
Предельныетеоремы теории вероятностей, теоремы Муавра-Лапласа объясняют природуустойчивости частоты появлений события. Природа эта состоит в том, чтопредельным распределением числа появлений события при неограниченномвозрастании числа испытаний (если вероятность события во всех испытанияходинакова) является нормальное распределение.
Центральная предельнаятеорема объясняетширокое распространение нормального закона распределения. Теорема утверждает,что всегда, когда случайная величина образуется в результате сложения большогочисла независимых случайных величин с конечными дисперсиями, законраспределения этой случайной величины оказывается практически нормальным законом.
Теорема Ляпунова объясняет широкое распространение нормальногозакона распределения и поясняет механизм его образования. Теорема позволяетутверждать, что всегда, когда случайная величина образуется в результатесложения большого числа независимых случайных величин, дисперсии которых малыпо сравнению с дисперсией суммы, закон распределения этой случайной величиныоказывается практически нормальным законом. А поскольку случайные величинывсегда порождаются бесконечным количеством причин и чаще всего ни одна из нихне имеет дисперсии, сравнимой с дисперсией самой случайной величины, тобольшинство встречающихся в практике случайных величин подчинено нормальномузакону распределения.
В основекачественных и количественных утверждений закона больших чисел лежит неравенствоЧебышева. Оно определяет верхнюю границу вероятности того, что отклонениезначения случайной величины от ее математического ожидания больше некоторогозаданного числа. Замечательно, что неравенство Чебышева дает оценку вероятностисобытия /> дляслучайной величины, распределение которой неизвестно, известны лишь еематематическое ожидание и дисперсия.
Неравенство Чебышева. Если случайная величина x имеет дисперсию, то для любого x > 0 справедливо неравенство />, где Mx и Dx — математическое ожидание идисперсия случайной величины x .
/>ТеоремаБернулли. Пусть x n — число успехов в nиспытаниях Бернулли и p — вероятность успеха в отдельном испытании. Тогда прилюбом s > 0 справедливо />.
/>ТеоремаЛяпунова. Пусть s 1, s 2, …, s n, …– неограниченнаяпоследовательность независимых случайных величин с математическими ожиданиями m1,m2, …, mn, … и дисперсиями s 12, s 22, …, s n2….Обозначим/>,/>, />,/>.
Тогда /> = Ф(b) — Ф(a) для любых действительных чисел a и b, где Ф(x) — функция распределения нормального закона.
Пусть дана дискретнаяслучайная величина />. Рассмотрим зависимость числа успехов Sn от числаиспытаний n. При каждом испытании Sn возрастаетна 1 или на 0. Это утверждение можно записать в виде:
Sn = />1+…+/>n. (1.1)
Закон больших чисел. Пусть {/>к}—последовательность взаимно независимых случайныхвеличин с одинаковыми распределениями. Если математическое ожидание /> = М(/>к) существует, то для любого />> 0 при n/>/>
/> (1.2)
Иначе говоря, вероятностьтого, что среднее Sn/n отличается от математическогоожидания меньше, чем на произвольно заданное />,стремится к единице.
Центральная предельная теорема. Пусть {/>к}—последовательность взаимно независимых случайныхвеличин с одинаковыми распределениями. Предположим, что />и />существуют. Пусть Sn = />1+…+/>n, Тогда для любых фиксированных />
/>Ф (/>) — Ф (/>) (1.3)
Здесь Ф (х) — нормальнаяфункция распределенияю. Эту теорему сформулировал и доказал Линлберг. Ляпунов идругие авторы доказывали ее раньше, при более ограничительных условиях.Необходимо представить себе, что сформулированная выше теорема является тольковесьма частным случаем гораздо более общей теоремы, которая в свою очередьтесно связана со многими другими предельными теоремами. Отметим, что (1.3)намного сильнее, чем (1.2), так как (1.3) дает оценку для вероятности того, чторазность />больше, чем />. С другой стороны, законбольших чисел (1.2) верен, даже если случайные величины />k не имеют конечной дисперсии, так что он применим кболее общему случаю, чем центральная предельная теорема (1.3). Проиллюстрируемпоследние две теоремы примерами.
Примеры. а) Рассмотрим последовательностьнезависимых бросаний симметричной кости. Пусть />k — число очков, выпавших при k-м бросании. Тогда
M(/>k)=(1+2+3+4+5+6)/6=3.5,
a D(/>k)=(12+22+32+42+52+62)/6-(3.5)2=35/12и Sn/n
является средним числомочков, выпавших в результате nбросаний.
Закон больших чиселутверждает: правдоподобно, что при больших п это среднее окажется близким к3,5. Центральная предельная теорема устанавливает вероятность того, что |Sn —3,5n | (35n/12)1/2 близка к Ф(/>) — Ф(-/>). При n = 1000 и а=1 мы находим, чтовероятность неравенства 3450 0)— Ф(—/>0)=1/2, мыполучим, что для Sn шансы находиться внутри или вне интервала 3500 /> 36 примерно одинаковы.
б) Выборка. Предположим,что в генеральной совокупности,
состоящей из N семей, Nk семейимеют ровно по k детей
(k = 0, 1 ...; />Nk = N).Если семья выбрана наугад, то число детей в ней является случайной величиной,которая принимает значение />свероятностью p/>=N/>/N. При выборе свозвращением можно рассматривать выборку объема n как совокупность n независимых случайных величин или «наблюдений» />1, ..., />n, которые имеют все одно и то же распределение; Sn/n является средним значениемвыборки. Закон больших чисел утверждает, что для достаточно большой случайнойвыборки ее среднее значение будет, вероятно, близким к/>, т. е, к среднему значениюгенеральной совокупности. Центральная предельная теорема позволяет оценитьвероятную величину расхождения между этими средними значениями и определитьобъем выборки, необходимый для надежной оценки. На практике и /> и /> обычно неизвестны; однаков большинстве случаев удается легко получить предварительную оценку для /> и всегда можно заключить /> в надежные границы. Еслимы желаем, чтобы с вероятностью 0,99 или большей среднее значение выборки Sn/n отличалось от неизвестногосреднего значения генеральной совокупности менее, чем на 1/10, то объем выборкидолжен быть взят таким, чтобы
/> (1.4)
Корень х уравнения Ф(х) —Ф(— х) = 0,99 равен х = 2,57 ..., и, следовательно, n должно быть таким, что />2,57или n > 660/> .Осторожная предварительная оценка />даетвозможность найти необходимый объем выборки.
в) Распределение Пуассона.
Предположим, чтослучайные величины />k имеют распределение Пуассона {p(k;/>)}. Тогда Sn имеетраспределение Пуассона с математическим ожиданием и дисперсией, равными n/>.
Написав /> вместо n/>, мы заключаем, что при n/>
/>(1.5)
Суммирование производитсяпо всем k от 0 до />. Ф-ла (1.5)имеет место и тогда, когда /> произвольнымобразом.
Доказательство законабольших чисел
Проведемэто доказательство в два этапа. Сначала предположим, что /> существует, и заметим, чтов этом случае D(S„)/> по теореме о дисперсии суммы. Согласно неравенству Чебышева, прилюбом t > 0
/> (2.1)
При t > />n левая часть меньше, чем/>,а последняя величина стремится к нулю. Это завершает первую часть доказательства.
Отбросимтеперь ограничительное условие существования D(/>). Этот случай сводится кпредшествующему методом усечения.
Определимдва новых набора случайных величин, зависящих от />,следующим образом:
Uk=/>, Vk=0,если /> (2.2)
Uk=0, Vk=/>, если />
Здесь k=1,…, п и /> фиксировано.Тогда
/>=Uk+Vk (2.3)
при всехk.
Пусть {f(/>j)} — распределение вероятностей случайных величин /> (одинаковое для всех />j). Мы предположили, что /> =M(/>)существует, так чтосумма
/> (2.4)
конечна.Тогда существует и
/> (2.5)
гдесуммирование производится по всем тем j, при которых />. Отметим, что хотя/> и зависит от п, но оно одинаководля
U1, U2, ..., Un. Кроме того, />/>при />, и, следовательно, для произвольного/>> 0 и всех достаточнобольших n
/>. (2.6)
Далее,из (2.5) и (2,4) следует, что
/>(2.7)
Uk взаимнонезависимы, и с их суммой U1+U2+…+Un можнопоступить точно так же, как и с Xk вслучае конечной дисперсии, применив неравенство Чебышева, мы получим аналогично(2.1)
/>(2.8)
Вследствие(2.6) отсюда вытекает, что
/>(2.9)
Далее заметим,что с большой вероятностью Vk = 0. Действительно,
/> (2.10)
Посколькуряд (2.4) сходится, последняя сумма стремится к нулю при возрастании n. Таким образом, при достаточнобольшом п
P{Vk/>0}/> (2.11)
иследовательно
P{V1+…+Vn/>0}/>. (2.12)
Но />, и из (2.9) и (2.12)получаем
/>/> (2.13)
Так как /> и /> произвольны, правая часть можетбыть сделана сколь угодно малой, что и завершает доказательство.
Теория«безобидных» игр
Придальнейшем анализе сущности закона больших чисел будем пользоватьсятрадиционной терминологией игроков, хотя наши рассмотрения допускают в равнойстепени иболее серьезные приложения, а два наших основных предположенияболее реальны в статистике и физике, чем в азартных играх. Во-первых,предположим, что игрок обладает неограниченным капиталом, так что никакойпроигрыш не может вызвать окончания игры. (Отбрасывание этогопредположения приводит к задаче о разорении игрока, которая всегда интригуетизучающих теорию вероятностей.) Во-вторых, предположим, что игрок не имеетнрава прервать игру, когда ему заблагорассудится: число п испытаний должно бытьфиксировано заранее и не должно зависеть от хода игры. Иначе игрок,осчастливленный неограниченным капиталом, дождался бы серии удач и в подходящиймомент прекратил бы игру. Такого игрока интересует не вероятное колебание взаданный момент, а максимальные колебания в длинной серии партий, которыеописываются скорее законом повторного логарифма, чем законом больших чисел .
Введемслучайную величину />k как (положительный или отрицательный)выигрыш при k-м повторении игры. Тогда сумма Sn =/>1+…+/>k является суммарным выигрышем при п повторенияхигры. Если перед каждым повторением игрок уплачивает за право участия в игре(не обязательно положительный) взнос />, то п/> представляет собой общий уплаченный им взнос, a Sn — п/> общий чистый выигрыш. Закон больших чисел применим, если p=M(/>k) существует. Грубо говоря, при больших п весьма правдоподобно,что разность Sп — п/>окажется малой по сравнению с п. Следовательно, если /> меньше, чем р, то при больших п игрокбудет, вероятно, иметь выигрыш порядка />.По тем же соображениям взнос /> практически наверняка приводит к убытку. Короче, случай /> благоприятен для игрока, а случай /> неблагоприятен.
Заметим,что мы еще ничего не говорили о случае/>. В этом случае единственно возможным заключениемявляется то, что при достаточно большом и общий выигрыш или проигрыш Sn — п/> будет с очень большой вероятностьюмалым по сравнению с п. Нопри этом неизвестно, окажется ли Sn — п/> положительным или отрицательным, т.е. будет ли игра выгодной или разорительной. Это не было учтено классическойтеорией, которая называла />безобидной ценой, а игру с /> «безобидной». Нужно понимать, что«безобидная» игра может на самом деле быть и явно выгодной и разорительной.
Ясно,что в «нормальном случае» существует не только M(/>k), но и D(/>k). В этом случае закон больших чисел дополняетсяцентральной предельной теоремой, а последняя говорит о том, что весьмаправдоподобно, что при «безобидной» игре чистый выигрыш в результатепродолжительной игры Sn — п/> будет иметь величину порядка n1/2 и чтопри достаточно больших п этот выигрыш будет с примерно равными шансамиположительным или отрицательным. Таким образом, если применима центральнаяпредельная теорема, то термин «безобидная» игра оказывается оправданным, хотядаже и в этом случае мы имеем дело с предельной теоремой, что подчеркиваетсясловами «в результате продолжительной игры». Тщательный анализ показывает, чтосходимость в (1.3) ухудшается при возрастании дисперсии. Если /> велико, то нормальноеприближение окажется эффективным только при чрезвычайно больших п.
Дляопределенности представим машину, при опускании в которую рубля игрок может свероятностью 10 выиграть (10—1) рублей, а в остальных случаях теряет опущенныйрубль. Здесь мы имеем испытания Бернулли и игра является «безобидной». Проделавмиллион испытаний, игрок уплатит за это миллион рублей. За это время он можетвыиграть 0, 1,2,… раз. Согласно приближению Пуассона для биномиальногораспределения, с точностью до нескольких десятичных знаков вероятность выигратьровно к раз равна e-1/k!.. Такимобразом, с вероятностью 0,368… игрок потеряет миллион, и с той жевероятностью он только окупит свои расходы; он имеет вероятность 0,184…приобрести ровно один миллион и т. д. Здесь 106 испытанийэквивалентны одному-единствеиному испытанию при игре с выигрышем, имеющимраспределение Пуассона.
Очевидно,бессмысленно применять закон больших чисел в такого рода ситуациях. К этойсхеме относится страхование от пожара, автомобильных катастроф и т. п. Рискуподвергается большая сумма, но зато соответствующая вероятность очень мала.Однако здесь происходит обычно только одно испытание в год, так что число п испытанийникогда не становится большим. Для застрахованного игра обязательно не является«безобидной», хотя, может быть, экономически вполне выгодной. Закон большихчисел здесь не при чем. Что касается страховой компании, то она имеет дело сбольшим числом игр, но из-за большой дисперсии все же проявляются случайныеколебания. Размер страховых премий должен быть установлен таким, чтобыпредотвратить большой убыток в отдельные годы, и, следовательно, компаниюинтересует скорее задача о разорении, чем закон больших чисел.
Когдадисперсия бесконечна, термин «безобидная» игра становится бессмысленным; нет никакихоснований считать, что общий />/>чистый выигрыш Sn— п/> колеблется около нуля. Действительно.существуют примеры «безобидных» игр, в которых вероятность того, что врезультате игрок потерпит чистый убыток, стремится к единице. Закон большихчисел утверждает только, что этот убыток будет величиной меньшего порядка, чем п.Однако ничего большего утверждать и нельзя. Если ап образуютпроизвольную последовательность, причем ап/n/>0 то можно устроить «безобидную» игру, в которой вероятностьтого, что общий чистый убыток в результате п повторений игры превышаем an стремится к единице.