4. Моделирование по схеме марковских случайных процессовДля вычисления числовых параметров, характеризующих стохастические объекты, нужно построить некоторую вероятностную модель явления, учитывающую сопровождающие его случайные факторы. Для математического описания многих явлений, развивающихся в форме случайного процесса, может быть с успехом применен математический аппарат, разработанный в теории вероятностей для так называемых марковских случайных процессов. Поясним это понятие. Пусть имеется некоторая физическая система S, состояние которой меняется с течением времени (под системой S может пониматься что угодно: техническое устройство, ремонтная мастерская, вычислительная машина и т.д.). Если состояние S меняется по времени случайным образом, говорят, что в системе S протекает случайный процесс. Примеры: процесс функционирования ЭВМ (поступление заказов на ЭВМ, вид этих заказов, случайные выходы из строя), процесс наведения на цель управляемой ракеты (случайные возмущения (помехи) в системе управления ракетой), процесс обслуживания клиентов в парикмахерской или ремонтной мастерской (случайный характер потока заявок (требований), поступивших со стороны клиентов).Случайный процесс называется марковским процессом (или «процессом без последствия»), если для каждого момента времени t0 вероятность любого состояния системы в будущем (при t> t0) зависит только от её состояния в настоящем (при t= t0) и не зависит от того, когда и каким образом система пришла в это состояние (т.е. как развивался процесс в прошлом). Пусть S техническое устройство, которое характеризуется некоторой степенью изношенности S. Нас интересует, как оно будет работать дальше. В первом приближении характеристики работы системы в будущем (частота отказов, потребность в ремонте) зависят от состояния устройства в настоящий момент и не зависят от того, когда и как устройство достигло своего настоящего состояния.Теория марковских случайных процессов – обширный раздел теории вероятности с широким спектром приложений (физические явления типа диффузии или перемешивания шихта во время плавки в доменной печи, процессы образования очередей).^ 4.1. Классификация марковских процессовМарковские случайные процессы делятся на классы. Первый классификационный признак – характер спектра состояний. Случайный процесс (СП) называется процессом с дискретными состояниями, если возможные состояния системы S1, S2, S3…можно перечислить, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) перескакивает из одного состояния в другое. Пример. Техническое устройство состоит из двух узлов I и II, каждый из которых может выйти из строя. Состояния: S1 – оба узла работают; S2– первый узел отказал, второй рабочий; S3 – второй узел отказал, первый рабочий; S4– оба узла отказали. Существуют процессы с непрерывными состояниями (плавный переход из состояния в состояние), например, изменение напряжения в осветительной сети. Будем рассматривать только СП с дискретными состояниями. В этом случае удобно пользоваться графом состояний, в котором возможные состояния системы обозначаются узлами, а возможные переходы - дугами.Второй классификационный признак – характер функционирования во времени. СП называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени: t1,t2… . Если переход системы из состояния в состояние возможен в любой наперед неизвестный случайный момент, то говорят о СП с непрерывным временем.^ 4.2. Расчет марковской цепи с дискретным временемПусть имеется физическая система S с дискретными состояниями S1, S2, … Sn и дискретным временем t1, t2, … , tk, … (шаги, этапы процесса, СП можно рассматривать как функцию аргумента (номера шага)). В общем случае СП состоит в том, что происходят переходы S1®S1®S2®S3®S4®S1® … в моменты t1, t2, t3 …. Будем обозначать событие, состоящее в том, что после k – шагов система находится в состоянии Si. При любом k события образуют полную группу и несовместны. СП, происходящий в системе, можно представить как последовательность событий . Такая случайная последовательность событий называется марковской цепью. Будем описывать марковскую цепь (МЦ) с помощью вероятностей состояний. Пусть – вероятность того, что после k - шагов система находится в состоянии Si. Легко видеть, что "k . Поставим задачу: найти вероятности состояний системы для любого k. Для любого шага (момента времени t1, t2, … , tk) существуют какие-то вероятности перехода системы из любого состояния в любое другое (некоторые из них равны нулю, если непосредственный переход за один шаг невозможен), а также вероятности задержки системы в одном состоянии. Будем их называть переходными вероятностями МЦ. Марковская цепь называется однородной, если переходные вероятности не зависят от номера шага, в противном случае - неоднородная МЦ. Рассмотрим однородную МЦ. Пусть S= S1, S2, … Sn. Обозначим переходные вероятности через Pij. Пусть известна матрица. Пользуюсь введенными выше событиями , переходные вероятности можно написать как условные вероятности:. Сумма членов в каждой строке матрицы должна быть равна 1. Вместо матрицы переходных вероятностей часто используют размеченный граф состояний (обозначают на дугах ненулевые вероятности переходов, вероятности задержки не требуются, поскольку они легко вычисляются, например P11=1-(P12+P13)). Имея в распоряжении размеченный граф состояний (или матрицу переходных вероятностей) и зная начальное состояние системы, можно найти вероятности состояний p1(k),p2(k),…pn(k) "k. Пусть начальное состояние системы Sm, тогдаp1(0)=0 p2(0)=0… pm(0)=1… pn(0)=0. Первый шаг:p1(1)=Pm1, p2(1)=Pm2,…pm(1)=Pmm,… ,pn(1)=Pmn. После второго шага по формуле полной вероятности получим:p1(2)=p1(1)P11+p2(1)P21+…pn(1)Pn1,pi(2)=p1(1)P1i+p2(1)P2i+…pn(1)Pniили . Для произвольного шага k получаем:(i=1,2,..n). Для неоднородной МЦ переходные вероятности зависят от номера шага. Обозначим переходные вероятности для шага k через. Тогда формула для расчета вероятностей состояний приобретает вид:.^ 4.3. Марковские цепи с непрерывным временем4.3.1. Уравнения КолмогороваНа практике значительно чаще встречаются ситуации, когда переходы системы из состояния в состояние происходит в случайные моменты времени, которые заранее указать невозможно: например, выход из строя любого элемента аппаратуры, окончание ремонта (восстановление) этого элемента. Для описания таких процессов в ряде случаев может быть с успехом применена схема марковского случайного процесса с дискретными состояниями и непрерывным временем – непрерывная цепь Маркова. Покажем, как выражаются вероятности состояний для такого процесса. Пусть S={S1,S2,…Sn}. Обозначим через pi(t) - вероятность того, что в момент t система S будет находиться в состоянии ). Очевидно . Поставим задачу – определить для любого t pi(t). Вместо переходных вероятностей Pijвведем в рассмотрение плотности вероятностей перехода .Если не зависит от t, говорят об однородной цепи, иначе - о неоднородной. Пусть нам известны для всех пар состояний (задан размеченный граф состояний). Оказывается, зная размеченный граф состояний можно определить p1(t),p2(t)..pn(t) как функции времени. Эти вероятности удовлетворяют определенного вида дифференциальным уравнениям, (уравнения Колмогорова).Интегрирование этих уравнений при известном начальном состоянии системы даст искомые вероятности состояний как функции времени. Заметим, что p1+p2+p3+p4=1 и можно обойтись тремя уравнениями.Правила составления уравнений Колмогорова. В левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка направлена из состояния, соответствующий член имеет знак минус, если в состояние - знак плюс. Каждый член равен произведению плотности вероятности перехода, соответствующего данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.^ 4.3.2. Поток событий. Простейший поток и его свойстваПри рассмотрении процессов, протекающих в системе с дискретными состояниями и непрерывным временем, часто бывает удобно представить себе процесс так, как будто переходы системы из состояния в состояние происходят под действием каких-то потоков событий. Потоком событий называется последовательность однородных событий, следующих одно за другим в какие-то, вообще говоря, случайные моменты времени. (Поток вызовов на телефонной станции; поток неисправностей (сбоев) ЭВМ; поток грузовых составов, поступающих на станцию; поток посетителей; поток выстрелов, направленных на цель). Будем изображать поток событий последовательностью точек на оси времени ot. Положение каждой точки на оси случайно. Поток событий называется регулярным, если события следуют одно за другим через строго определенные промежутки времени (редко встречается на практике). Рассмотрим специального типа потоки, для этого введем ряд определений. 1. Поток событий называется стационарным, если вероятность попадания того или иного числа событий на участок времени длиной зависит только от длины участка и не зависит от того, где именно на оси ot расположен этот участок (однородность по времени) – вероятностные характеристики такого потока не должны меняться от времени. В частности, так называемая интенсивность (или плотность) потока событий (среднее число событий в единицу времени) постоянна. 2. Поток событий называется потоком без последствия, если для любых непересекающихся участков времени число событий, попадающих на один из них, не зависит от того, сколько событий попало на другой (или другие, если рассматривается больше двух участков). Отсутствие последствия в потоке означает, что события, образующие поток, появляются в последовательные моменты времени независимо друг от друга. 3. Поток событий называется ординарным, если вероятность попадания на элементарный участок двух или более событий пренебрежительно мала по сравнению с вероятностью попадания одного события (события в потоке приходят поодиночке, а не парами, тройками и т.д.). Поток событий, обладающий всеми тремя свойствами, называется простейшим (или стационарным пуассоновским). Нестационарный пуассоновский поток обладает только свойствами 2 и 3. Пуассоновский поток событий (как стационарный, так и нестационарный) тесно связан с известным распределением Пуассона. А именно, число событий потока, попадающих на любой участок, распределено по закону Пуассона. Поясним это подробнее. Рассмотрим на оси оt, где наблюдается поток событий, некоторый участок длины t, начинающийся в момент t0 и заканчивающийся в момент t0+t. Нетрудно доказать (доказательство дается во всех курсах теории вероятности), что вероятность попадания на этот участок ровно m событий выражается формулой: (m=0,1…),где а – среднее число событий, приходящееся на участок t.Для стационарного (простейшего) пуассоновского потока а=lt, т.е. не зависит от того, где на оси ot взят участок t. Для нестационарного пуассоновского потока величина а выражается формулойи значит, зависит от того, в какой точке t0 начинается участок t. Рассмотрим на оси ot простейший поток событий с постоянной интенсивностью l. Нас будет интересовать интервал времени T между событиями в этом потоке. Пусть l - интенсивность (среднее число событий в 1 времени) потока. Плотность распределения f(t) случайной величины Т (интервал времени между соседними событиями в потоке) f(t)=le-lt (t>0). Закон распределения с такой плотностью называется показательным (экспоненциальным). Найдем численные значения случайной величины Т: математическое ожидание (среднее значение) и дисперсию . Промежуток времени Т между соседними событиями в простейшем потоке распределен по показательному закону; его среднее значение и среднее квадратичное отклонение равны , где l - интенсивность потока. Для такого потока вероятность появления на элементарном участке времени ∆t ровно одного события потока выражается как . Эту вероятность мы будем называть «элементом вероятности появления события».Для нестационарного пуассоновского потока закон распределения промежутка Т уже не будет показательным. Вид этого закона будет зависеть, во первых, от того, где на оси ot расположено первое из событий, во вторых, от вида зависимости . Однако, если меняется сравнительно медленно и его изменение за время между двумя событиями невелико, то закон распределения промежутка времени между событиями можно приближенно считать показательным, полагая в этой формуле величину равной среднему значению на том участке, который нас интересует.^ 4.3.3. Пуассоновские потоки событий и непрерывные марковские цепиРассмотрим некоторую физическую систему S={S1,S2,…Sn}, которая переходит из состояния в состояние под влиянием каких-то случайных событий (вызовы, отказы, выстрелы). Будем себе это представлять так, будто события, переводящие систему из состояния в состояние, представляют собой какие-то потоки событий.Пусть система S в момент времени t находится в состоянии Si и может перейти из него в состояние Sj под влиянием какого-то пуассоновского потока событий с интенсивностью lij: как только появляется первое событие этого потока, система мгновенно переходит из Siв Sj . Как мы знаем, вероятность этого перехода за элементарный промежуток времени (элемент вероятности перехода) равна , отсюда вытекает, что плотность вероятности перехода lij в непрерывной цепи Маркова представляет собой не что иное, как интенсивность потока событий, переводящих систему по соответствующей стрелке. Если все потоки событий, переводящие систему S из состояния в состояние пуассоновские, то процесс, протекающий в системе, будет марковским. Проставим интенсивности пуассоновских потоков (плотности вероятностей переходов) на графе состояний системы у соответствующих стрелок. Получим размеченный граф состояний. На его основе можно написать уравнения Колмогорова и вычислить вероятности состояний. Пример. Техническая система S состоит из двух узлов I и II, каждый из которых независимо от другого может отказывать. Поток отказов первого узла пуассоновский с интенсивностью lI, второго также пуассоновский с интенсивностью lII. Каждый узел сразу после отказа начинает ремонтироваться (восстанавливаться). Поток восстановлений (окончаний ремонта узла) для обоих узлов – пуассоновский с интенсивностью l. Составить граф состояний системы и написать уравнение Колмогорова. Состояния системы: S11 - оба узла исправны; S21 – первый узел ремонтируется, второй исправен; S12,S22.^ 4.3.4. Предельные вероятности состоянийПусть имеется физическая система S={S1,S2,…Sn}, в которой протекает марковский случайный процесс с непрерывным временем (непрерывная цепь Маркова). Предположим, что lij=const, т.е. все потоки событий простейшие (стационарные пуассоновские). Записав систему дифференциальных уравнений Колмогорова для вероятностей состояний и проинтегрировав эти уравнения при заданных начальных условиях, мы получим p1(t), p2(t),… pn(t), при любом t. Поставим следующий вопрос, что будет происходить с системой S при t®¥. Будут ли функции pi(t) стремиться к каким-то пределам? Эти пределы, если они существуют, называются предельными вероятностями состояний. Можно доказать теорему: если число состояний S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы. Предположим, что поставленное условие выполнено и предельные вероятности существуют (i=1,2,…n), . Таким образом, при t®¥ в системе S устанавливается некоторый предельный стационарный режим. Смысл этой вероятности: она представляет собой не что иное, как среднее относительное время пребывания системы в данном состоянии. Для вычисления pi в системе уравнений Колмогорова, описывающих вероятности состояний, нужно положить все левые части (производные) равными 0. Систему получающихся линейных алгебраических уравнений надо решать совместно с уравнением .^ 4.3.5. Схема гибели и размноженияМы знаем, что имея в распоряжении размеченный граф состояний, можно легко написать уравнения Колмогорова для вероятностей состояний, а также написать и решить алгебраические уравнения для финальных вероятностей. Для некоторых случаев удается последние уравнения решить заранее, в буквенном виде. В частности, это удается сделать, если граф состояний системы представляет собой так называемую «схему гибели и размножения».Граф состояний для схемы гибели и размножения имеет вид, показанный на рис. 19.1. Особенность этого графа в том, что все состояния системы можно вытянуть в одну цепочку, в которой каждое из средних состояний (S1, S2, ..., Sn-1) связано прямой и обратной стрелкой с каждым из соседних состояний — правым и левым, а крайние состояния (S0, Sn) — только с одним соседним состоянием. Термин «схема гибели и размножения» ведет начало от биологических задач, где подобной схемой описывается изменение численности популяции.Схема гибели и размножения очень часто встречается в разных задачах практики, в частности — в теории массового обслуживания, поэтому полезно, один раз и навсегда, найти для нее финальные вероятности состояний. Предположим, что все потоки событий, переводящие систему по стрелкам графа,— простейшие (для краткости будем называть и систему S и протекающий в ней процесс — простейшими).Пользуясь графом рис. 19.1, составим и решим алгебраические уравнения для финальных вероятностей состояний (их существование вытекает из того, что из каждого состояния можно перейти в каждое другое, и число состояний конечно). Для первого состояния S0 имеем: (4.1)Для второго состояния S1:В силу (4.1) последнее равенство приводится к видудалее, совершенно аналогичнои вообщегде k принимает все значения от 0 до n. Итак, финальные вероятности р0, p1,..., рn удовлетворяют уравнениям (4.2)кроме того, надо учесть нормировочное условиеp0 + р1+ р2+…+ рn=1 (4.3)Решим эту систему уравнений. Из первого уравнения (4.2) выразим р1 через р0. (4.4) Из второго, с учетом (4.4), получим: (4.5)из третьего, с учетом (4.5), (4.6)и вообще, для любого k (от 1 до N): (4.7)Обратим внимание на формулу (4.7). В числителе стоит произведение всех интенсивностей, стоящих у стрелок, ведущих слева направо (с начала и до данного состояния Sk), а в знаменателе — произведение всех интенсивностей, стоящих у стрелок, ведущих справа налево (с начала и до Sk).Таким образом, все вероятности состояний p1, р2, …, pnвыражены через одну из них (p0). Подставим эти выражения в нормировочное условие (4.3). Получим, вынося за скобку p0:отсюда получим выражение для р0. (4. 8)(скобку мы возвели в степень -1, чтобы не писать двухэтажных дробей). Все остальные вероятности выражены через р0 (см. формулы (4.4) — (4.7)). Заметим, что коэффициенты при p0 в каждой из них представляют собой не что иное, как последовательные члены ряда, стоящего после единицы в формуле (4.8). Значит, вычисляя р0, мы уже нашли все эти коэффициенты.Полученные формулы очень полезны при решении простейших задач теории массового обслуживания.