Введение
Как и всякие явления, случайные явления вызываютсявполне определенными причинами. Все явления окружающего нас мира взаимносвязаны и влияют одно на другое (закон всеобщей связи явлений). Поэтому каждоенаблюдаемое явление связано причинной зависимостью с бесчисленным множествомдругих явлений и течение его зависит от бесчисленного множества факторов.Проследить все это бесконечное множество связей и определить действие каждой изних принципиально невозможно. Поэтому, изучая то или иное явление, человекограничивается лишь основными факторами, определяющими его течение, ипренебрегает огромным количеством второстепенных явлений. Это дает возможностьглубже проникнуть в сущность явления, установить его закономерность. Вместе стем, поступая так, человек обедняет явление, схематизирует его. Иными словами,он заменяет изучаемое явление подходящей упрощенной его моделью. Вследствиеэтого любой закон науки отражает сущность изучаемого явления, но он всегдазначительно беднее, уже самого явления. Никакой закон не может характеризоватьявление всесторонне, во всей полноте и многообразии. Наблюдаемые в реальномявлении отклонения от закономерности, вызываемые совместным действиембесчисленного множества неучтенных факторов, и представляют собой случайныеявления.
При экспериментальномизучении какого-либо явления с целью установления его закономерностейприходится наблюдать его многократно в одинаковых условиях. При этом пододинаковыми условиями мы понимаем одинаковые значения всех количественныххарактеристик контролируемых факторов. Все неконтролируемые факторы будут приэтом различными. Вследствие этого действие контролируемых факторов будетпрактически одинаковым при разных наблюдениях одного и того же явления. В этомкак раз и проявляются законы данного явления. Случайные же отклонения отзакономерности, вызванные действием неконтролируемых факторов, будут различнымипри разных наблюдениях, причем предвидеть заранее, какими они будут при данномконкретном наблюдении, принципиально невозможно. Роль случайностей в разных явлениях различна. В некоторых явленияхслучайные отклонения от закономерностей настолько малы, что их можно неучитывать. Однако есть и такие явления, в которых невозможно подметить никакихзакономерностей, и случайность играет основную роль. Примером такого явленияможет служить движение малой частицы твердого вещества, взвешенной в жидкости,так называемое броуновское движение. Под действием толчковогромного количества движущихся молекул жидкости частица движется совершеннобеспорядочно, без всякой видимой закономерности. В подобных явлениях самаслучайность является закономерностью. Примногократном наблюдении случайных явлений в них самих можно заметитьопределенные закономерности. Изучив эти закономерности, человек получаетвозможность в известной степени управлять случайными явлениями, ограничивать ихвлияние, предсказывать результаты их действия и даже целенаправленноиспользовать их в своей практической деятельности. Так, например, можнопроектировать измерительные системы, обладающие максимальной доступнойточностью, радиоприемные устройства с максимальной помехозащищенностью,обладающие минимальным уровнем шумов, системы управления движением летательныхаппаратов, обеспечивающие наибольшую возможную точность навигации илинаименьшее действие «болтанки» на летательный аппарат. Можно такжепроектировать технические системы, обладающие заданной надежностью. Изучением закономерностей массовых случайных явленийзанимается особая математическая наука — теориявероятностей. Методы теории вероятностей, называемые вероятностными илистатистическими, дают возможность производить расчеты,позволяющие делать определенные практические выводы относительно случайныхявлений. Как и всякая прикладная наука, теория вероятностей нуждается висходных экспериментальных данных для расчетов. Раздел теории вероятностей,изучающий методы обработки результатов опытов и получения из них необходимыхданных, называется математической статистикой. />
дискретныйдисперсия ковариация корреляция
Математическое ожиданиедискретной случайной величины
Математическим ожиданиемдискретной случайной величины называют сумму произведений всех ее возможныхзначений на их вероятности.
Пусть случайная величина /> может принимать толькозначения /> вероятности которыхсоответственно равны /> Тогдаматематическое ожидание /> случайнойвеличины /> определяется равенством
/>
Если дискретная случайнаявеличина /> принимает счетноемножество возможных значений, то
/>
Причем математическоеожидание существует, если ряд в правой части равенства сходится абсолютно.
Замечание. Из определенияследует, что математическое ожидание дискретной случайной величины естьнеслучайная (постоянная) величина.
Определениематематического ожидания в общем случае
Определим математическоеожидание случайной величины />,распределение которой не обязательно дискретно. Начнем со случаянеотрицательных случайных величин. Идея будет заключаться в том, чтобыаппроксимировать такие случайные величины с помощью дискретных, для которыхматематическое ожидание уже определено, а математическое ожидание /> положить равным пределуматематических ожиданий приближающих ее дискретных случайных величин. Кстати,это очень полезная общая идея, состоящая в том, что некоторая характеристикасначала определяется для простых объектов, а затем для более сложных объектовона определяется с помощью аппроксимации их более простыми.
Лемма 1. Пусть />есть произвольнаянеотрицательная случайная величина. Тогда существует последовательность /> дискретных случайныхвеличин, таких, что
/>
Доказательство. Разобьемполуось /> на равные отрезки длины /> и определим
/> если />
Тогда свойства 1 и 2легко следуют из определения случайной величины />,и
/>
/>
Лемма 2. Пусть />–неотрицательная случайнаявеличина и /> и /> две последовательностидискретных случайных величин, обладающих свойствами 1-3 из леммы 1. Тогда
/>
Доказательство. Отметим,что для неотрицательных случайных величин мы допускаем />
В силу свойства 3 легковидеть, что существует последовательность /> положительныхчисел, такая что
/>
Отсюда следует, что
/>
/>. Используя свойстваматематических ожиданий для дискретных случайных величин, получаем
/>
Переходя к пределу при /> получаем утверждение леммы2.
Определение 1. Пусть />– неотрицательная случайнаявеличина, />–последовательностьдискретных случайных величин, обладающих свойствами 1-3 из леммы 1.Математическим ожиданием случайной величины /> называетсячисло
/>
Лемма 2 гарантирует, что /> не зависит от выборааппроксимирующей последовательности />.
Пусть теперь />– произвольная случайнаявеличина. Определим
/>
/>
Из определения /> и /> легко следует, что
/>
Определение 2.Математическим ожиданием произвольной случайной величины /> называется число
/>
Если хотя бы одно изчисел в правой части этого равенства конечно.
Свойства математическогоожидания
Свойство 1.Математическое ожидание постоянной величины равно самой постоянной:
/>
Доказательство. Будемрассматривать постоянную /> какдискретную случайную величину, которая имеет одно возможное значение /> и принимает его свероятностью /> следовательно,
/>
Замечание 1. Определимпроизведение постоянной величины /> надискретную случайную величину /> какдискретную случайную /> возможныезначения которой равны произведениям постоянной /> навозможные значения />; вероятностивозможных значений /> равнывероятностям соответствующих возможных значений /> Например,если вероятность возможного значения /> равна /> то вероятность того, чтовеличина /> примет значение /> также равна />
Свойство 2. Постоянныймножитель можно выносить за знак математического ожидания:
/>
Доказательство. Пустьслучайная величина /> задана закономраспределения вероятностей:
/>
/>
Учитывая замечание 1,напишем закон распределения случайной величины />
/>
/>
Итак,
/>
Замечание 2. Прежде, чемперейти к следующему свойству, укажем, что две случайные величины называютнезависимыми, если закон распределения одной из них не зависит от того, какиевозможные значения приняла другая величина. В противном случае случайныевеличины зависимы. Несколько случайных величин называют взаимно независимыми,если законы распределения любого числа их них не зависят от того, какиевозможные значения приняли остальные величины.
Замечание 3. Определимпроизведение независимых случайных величин /> и/> как случайную величину /> возможные значения которойравны произведениям каждого возможного значения /> накаждое возможное значение /> вероятностивозможных значений произведения /> равныпроизведениям вероятностей возможных значений сомножителей. Например, есливероятность возможного значения /> равна />, вероятность возможногозначения /> равна /> то вероятность возможногозначения /> равна />
Свойство 3.Математическое ожидание произведения двух независимых случайных величин равнопроизведению их математических ожиданий:
/>
Доказательство. Пустьнезависимые случайные величины /> и /> заданы своими законамираспределения вероятностей:
/>
/>
Составим все значения,которые может принимать случайная величина /> Дляэтого перемножим все возможные значения /> накаждое возможное значение />; витоге получим /> и /> учитывая замечание 3,напишем закон распределения /> предполагаядля простоты, что все возможные значения произведения различны (если это нетак, то доказательство проводится аналогично):
/>
/>
Математическое ожиданиеравно сумме произведений всех возможных значений на их вероятности:
/>
или
/>
/>
Итак, />
Следствие. Математическоеожидание произведения нескольких взаимно независимых случайных величин равнопроизведению их математических ожиданий.
Свойство 4.Математическое ожидание суммы двух случайных величин равно сумме математическихожиданий слагаемых:
/>
Доказательство. Пустьслучайные величины /> и /> заданы следующими законамираспределения:
/>
/>
Составим все возможныезначения величины /> Для этого ккаждому возможному значению /> прибавимкаждое возможное значение />;получим /> Предположим для простоты,что эти возможные значения различны (если это не так, то доказательствопроводится аналогично), и обозначим их вероятности соответственно через /> и />
Математическое ожиданиевеличины /> равно сумме произведенийвозможных значений на их вероятности:
/>
или
/> (*)
Докажем, что /> Событие, состоящее в том,что /> примет значение /> (вероятность этого событияравна />), влечет за собой событие,которое состоит в том, что /> приметзначение /> или /> (вероятность этого событияпо теореме сложения равна />), иобратно. Отсюда и следует, что /> Аналогичнодоказываются равенства
/> и />
Подставляя правые частиэтих равенств в соотношение (*), получим
/>
или окончательно
/>
Дисперсия и среднееквадратическое отклонение
На практике частотребуется оценить рассеяние возможных значений случайной величины вокруг еесреднего значения. Например, в артиллерии важно знать, насколько кучно лягутснаряды вблизи цели, которая должна быть поражена.
На первый взгляд можетпоказаться, что для оценки рассеяния проще всего вычислить все возможныезначения отклонения случайной величины и затем найти их среднее значение.Однако такой путь ничего не даст, так как среднее значение отклонения, т.е. /> для любой случайнойвеличины равно нулю. Это свойство объясняется тем, что одни возможныеотклонения положительны, а другие – отрицательны; в результате их взаимногопогашения среднее значение отклонения равно нулю. Эти соображения говорят оцелесообразности заменить возможные отклонения их абсолютными значениями или ихквадратами. Так и поступают на деле. Правда, в случае, когда возможныеотклонения заменяют их абсолютными значениями, приходится оперировать сабсолютными величинами, что приводит иногда к серьезным затруднениям. Поэтомучаще всего идут по другому пути, т.е. вычисляют среднее значение квадратаотклонения, которое и называется дисперсией.
Дисперсией (рассеянием)дискретной случайной величины называют математическое ожидание квадратаотклонения случайной величины от ее математического ожидания:
/>
Пусть случайная величиназадана законом распределения
/>
Тогда квадрат отклоненияимеет следующий закон распределения:
/> /> /> … />
По определению дисперсии,
/>
/>
Таким образом, для тогочтобы найти дисперсию, достаточно вычислить сумму произведений возможныхзначений квадрата отклонения на их вероятности.
Формула для вычислениядисперсии
Для вычисления дисперсиичасто бывает удобно пользоваться следующей теоремой.
Теорема. Дисперсия равнаразности между математическим ожиданием квадрата случайной величины /> и квадратом еематематического ожидания:
/>
Доказательство.Математическое ожидание /> естьпостоянная величина, следовательно, /> и /> есть также постоянныевеличины. Приняв это во внимание и пользуясь свойствами математического ожидания(постоянный множитель можно вынести за знак математического ожидания,математическое ожидание суммы равно сумме математических ожиданий слагаемых),упростим формулу, выражающую определение дисперсии:
/>
/>
/>
Итак,
/>
Свойства дисперсии
Свойство 1. Дисперсияпостоянной величины /> равна нулю:
/>
Доказательство. Поопределению дисперсии,
/>
Пользуясь первымсвойством математического ожидания, получим
/>.
Итак,
/>
Свойство становитсяясным, если учесть, что постоянная величина сохраняет одно и то же значение ирассеяния, конечно, не имеет.
Свойство 2. Постоянныймножитель можно выносить за знак дисперсии, возводя его в квадрат:
/>
Доказательство. Поопределению дисперсии имеем
/>
Пользуясь вторымсвойством математического ожидания (постоянный множитель можно выносить за знакматематического ожидания), получим
/>
/>
Итак,
/>
Свойство становитсяясным, если принять во внимание, что при /> величина/> имеет возможные значения(по абсолютной величине), большие, чем величина /> Отсюдаследует, что эти значения рассеяны вокруг математического ожидания /> больше, чем возможныезначения /> вокруг /> т.е. /> Напротив, если /> то />
Свойство 3. Дисперсиясуммы двух независимых случайных величин равна сумме дисперсий этих величин:
/>
Доказательство. Поформуле для вычисления дисперсии имеем
/>
Раскрыв скобки ипользуясь свойствами математического ожидания суммы нескольких величин ипроизведения двух независимых случайных величин, получим
/>
/>
/>
/>
Итак,
/>
Следствие 1. Дисперсиясуммы нескольких взаимно независимых случайных величин равна сумме дисперсийэтих величин.
Следствие 2. Дисперсиясуммы постоянной величины и случайной равна дисперсии случайной величины:
/>
Свойство 4. дисперсияразности двух независимых случайных величин равна сумме их дисперсий:
/>
Доказательство. В силутретьего свойства
/>
По второму свойству,
/>
или
/>
Среднее квадратическоеотклонение
Для оценки рассеяниявозможных значений случайной величины вокруг ее среднего значения кромедисперсии служат и некоторые другие характеристики. К их числу относитсясреднее квадратическое отклонение.
Средним квадратическимотклонением случайной величины /> называютквадратный корень из дисперсии:
/>
Легко показать, чтодисперсия имеет размерность, равную квадрату размерности случайной величины.Так как среднее квадратическое отклонение равно квадратному корню из дисперсии,то размерность /> совпадает сразмерностью />. Поэтому в тех случаях,когда желательно, чтобы оценка рассеяния имела размерность случайной величины,вычисляют среднее квадратическое отклонение, а не дисперсию. Например, если /> выражается в линейныхметрах, то /> будет выражаться также влинейных метрах, а /> в квадратныхметрах.
Среднее квадратическоеотклонение суммы взаимно независимых случайных величин
Пусть известны средниеквадратические отклонения нескольких взаимно независимых случайных величин.Чтобы найти среднее квадратическое отклонение суммы этих величин, воспользуемсяследующей теоремой.
Теорема: Среднееквадратическое отклонение суммы конечного числа взаимно независимых случайныхвеличин равно квадратному корню из суммы квадратов средних квадратическихотклонений этих величин:
/>
Доказательство. Обозначимчерез /> сумму рассматриваемыхвзаимно независимых величин:
/>
Дисперсия суммынескольких взаимно независимых случайных величин равна сумме дисперсийслагаемых, поэтому
/>
Отсюда
/>
Или окончательно
/>
Ковариация и коэффициенткорреляции
Ковариацией скалярныхслучайных величин /> и /> называется математическоеожидание произведения центрированной первой случайной величины и сопряженнойцентрированной второй случайной величины:
/>
Чтобы получить формулудля вычисления ковариации действительных случайных величин /> и />, достаточно рассматривать /> как функцию случайныхвеличин /> и />:
/>
где /> совместная плотностьвеличин /> и />.
Чтобы получить формулудля вычисления ковариации комплексных случайных величин /> и /> достаточно рассматриватьпроизведение /> как функцию четырехмерногослучайного вектора с координатами /> Тогдаполучим
/>
где /> совместная плотностьслучайных величин />
За характеристикузависимости между двумя случайными величинами /> и/> принимается отношение ихковариации к произведению их средних квадратических отклонений. Этабезразмерная величина называется коэффициентом корреляции величин /> и />:
/>
Таким образом, чтобыполучить числовые характеристики двумерного случайного вектора, следуетдобавить к математическим ожиданиям и дисперсиям его координат еще и ковариациюили коэффициент корреляции.
Очевидно, что ковариацияслучайной величины /> с сама с собойравно ее дисперсии, /> а ее коэффициенткорреляции с самой собой равен единице, /> ив более общем случае, когда />
Коррелированные и некоррелированныеслучайные величины
Зависимость междуслучайными величинами, характеризуемая коэффициентом корреляции, называется,корреляцией. Случайные величины называются коррелированными, если ихкоэффициент корреляции равен нулю. Из формулы /> следует, что случайныевеличины не коррелированны тогда и только тогда, когда их ковариация равнанулю.
Легко видеть, что длянекоррелированности случайных величин достаточно, чтобы их совместноераспределение было симметрично относительно какой-нибудь прямой, параллельнойодной из осей координат.
Моменты первого и второгопорядков случайной величины
Математическое ожидание,дисперсия и ковариация представляют собой частные виды моментов случайныхпричин.
Моментом первого порядка(первым моментом) случайной величины называется ее математическое ожидание.
Моментом второго порядка(вторым моментом) скалярной (в общем случае комплексной) случайной величины /> называется математическоеожидание квадрата ее модуля:
/>
Центральным моментомвторого порядка величины /> называетсямомент второго порядка центрированной величины /> т.е.ее дисперсия.
Моментом второго порядкавеличины /> относительно точки />называется момент второгопорядка разности />
/> (*)
Очевидно, что />
Смешанным моментомвторого порядка скалярных случайных величин /> и/> называется математическоеожидание произведения первой величины и сопряженной второй:
/>
Центральным смешанныммоментом второго порядка величин /> и /> называется смешанныйвторой момент центрированных случайных величин /> и/>, т.е. ковариация величин /> и />.
Смешанным моментомвторого порядка величин /> и /> относительно точек /> и /> называется смешанныйвторой момент разностей /> и />
/> (**)
Ясно, что />
Подставив в /> и /> /> и пользуясь свойствамиматематических ожиданий, получим выражения моментов второго порядка черезматематические ожидания и центральные моменты второго порядка:
/>
Аналогично из (*) и (**)получаем
/>
/>
Таким образом, всемоменты второго порядка выражаются через математические ожидания случайныхвеличин и их центральные моменты второго порядка.
Формула /> показывает, что дисперсияслучайной величины представляет собой наименьший из всех ее моментов второгопорядка.
Момент второго порядкаслучайных векторов, ковариационная матрица, корреляционная матрица
Моментом второго порядка(вторым моментом) случайного вектора /> называетсяматрица вторых моментов всех его координат:
/> />
Момент второго порядкацентрированного случайного вектора /> называетсяковариационной матрицей случайного вектора />
/> />
Представив вектор /> в форме матрицы-столбца,можем переписать определения второго момента и ковариационной матрицыслучайного вектора /> в виде
/> />
где звездочка означаетоперацию транспонирования матрицы с заменой всех ее комплексных элементовсоответствующими сопряженными числами.
Матрица, элементамикоторой служат коэффициенты корреляции координат /> случайноговектора /> называется егокорреляционной матрицей:
/> />
Подставив в /> формулу /> и пользуясь свойствамиматематических ожиданий, получаем соотношение между моментом второго порядка,ковариационной матрицей и математическим ожиданием случайного вектора:
/>
Взаимный момент второгопорядка и взаимная ковариационная матрица
Взаимным моментом второгопорядка (вторым моментом) двух случайных векторов /> и/> назовем матрицу (в общемслучае прямоугольную)
/>
Взаимной ковариационнойматрицей или ковариацией случайных векторов /> и/> назовем взаимный моментвторого порядка соответствующих центрированных случайных векторов /> и />
Взаимный момент второгопорядка, ковариационная матрица и математические ожидания векторов /> и /> связаны соотношением:
/>
Случайные векторы /> и /> называются коррелированными,если />, и некоррелированными,если /> Из этого определенияследует, что векторы /> и /> не коррелированы тогда итолько тогда, когда каждая координата одного из них не коррелирована со всемикоординатами другого.
Заключение
Теория вероятностей является мощным инструментомисследования, и поэтому она находит большое число самых разнообразныхприменений в различных областях науки и инженерной практики. Области ееприменения непрерывно расширяются. В прошлом веке теория вероятностей получилаприменение в теории измерений, в теории стрельбы и в физике. В нашем веке онапостепенно проникла в аэродинамику и гидродинамику, радиотехнику, теориюуправления, динамику полета, теорию связи, строительную механику, теориюмеханизмов и машин, теорию волнения моря и качки кораблей, метеорологию и вомногие другие области знания. Сейчас трудно назвать отрасль науки, которая непользовалась бы вероятностными методами. В современной теории процессовуправления, в теоретической радиотехнике теория вероятностей стала основныминструментом исследований. Вся теория современных сложных систем и процессовуправления основана на применении статистических методов. Теория вероятностейслужит фундаментом для теории надежности технических систем и для многих другихприкладных научных теорий. Этот процесснепрерывного расширения областей применения теории вероятностей вполнеестествен и легко объясняется. Дело в том, что в начале развития каждой отраслинауки человек стремится открыть основные законы этой науки и ему достаточнодовольно грубого совпадения результатов расчета с данными опытов. Кроме того,техника эксперимента на начальной стадии несовершенна и не может обеспечитьвысокую точность измерений. По мере развития науки требования к точностирасчетов повышаются, техника эксперимента совершенствуется, и случайныеявления, которыми можно было пренебрегать в начале развития данной отраслинауки, начинают играть все более и более значительную роль. В результате стараятеория начинает во многом расходиться с экспериментальными данными и возникаетнеобходимость обратиться к теории вероятностей. Теория вероятностей во всехтаких случаях неизменно дает новую теорию, более точно описывающую изучаемыеявления и обеспечивающую совпадение результатов теоретических расчетов сэкспериментальными данными. Так случилось в начале тридцатых годов с теориейтурбулентности в аэродинамике и в сороковых годах с теорией автоматическогоуправления и радиотехникой, а потом и с другими прикладными научнымитеориями.Особенность вероятностных методов состоит в том, что они рассматриваютисследуемое явление в целом, изучают результаты совокупного действия всехпричинных связей, которые невозможно проследить по отдельности.
Список используемойлитературы
1. Гмурман В.Е.Теория вероятностей и математическая статистика. Учебное пособие для вузов. – М.:Высшая школа, 2001.
2. Пугачев В.С.Теория вероятностей и математическая статистика.-М.: Физматлит, 2002.
3. Хохлов Ю.С.Теория вероятностей и математическая статистика: Ч./М-во общ. И проф.Образован. РФ; ТГУ. Тверь:[ТГУ], 1997.
4. Вентцель Е.С.Теория вероятностей. М., «Наука», 1969.
5. Вентцель Е.С.,Овчаров Л.А. Теория вероятностей. М., «Наука», 1969.
6. Ермаков В.А.Теория вероятностей и математическая статистика:–М.: Инфа – М, 2008.
7. Кибзун А.И.,Горяинова Е.Р., Наумов А.В., Сиротин А.И. Теория вероятностей и математическаястатистика. – М. Физматлит, 2002.
8. Гнеденко Б.В.Курс теории вероятности – М.: Наука, 1986.
9. Розанов Ю.А.Лекции по теории вероятностей – М.: Наука, Гл. ред. Физю-мат. Лит., 1986.
10. Захаров В.К.,Севастьянов Б.А., Чистяков В.П. Теория вероятностей – М.: Наука, 1983.
11. Солодовников А.С.Теория вероятностей:/ – М. Просвещение, 1983.