Дискретный марковский процесс

Обозначим через bij вероятность того, что процесс завершится в некотором поглощающем состоянии Sj при условии, что начальным было состояние Si. Множество состояний bij снова снова образует матрицу, строки которой соответствуют невозвратным состояниям, а столбцы - всем поглощающим состояниям. В теории дискретных Марковских процессов доказывается, что матрица В определяется следующим образом: , где

М - фундаментальная матрица с размерностью S;

R - блок фундаментальной матрицы с размерностью r.

Рассмотрим конкретный пример системы с четырьмя состояниями S1- S4, две из которых - S1 , S2 - поглощающие, а две - невозвратные: S3 и S4. Для наглядности и простоты вычислений обозначим переходные вероятности следующим образом:

P11 = P22 = 1; P31 = P43 = q; P34 = P42 = P.

Остальные значения вероятностей будут нулевыми. Каноническая форма матрицы перехода в этом случае будет выглядеть так: .

Фундаментальная матрица после вычислений примет вид: .

Тогда, согласно формуле (7), матрица вероятностей поглощения вычисляется так: .

Поясним вероятностный смысл полученной матрицы с помощью конкретных чисел. Пусть p = 0,7 , а q = 0,3. Тогда, после подстановки полученных значений в матрицу В, получим: .

Таким образом, если процесс начался в S3, то вероятность попадания его в S1 равна 0,38 , а в S2 - 0,62. Отметим одно интересное обстоятельство: несмотря на то, что, казалось бы, левое поглощающее состояние ("левая яма") находится рядом с S3, но вероятность попадания в нее почти в два раза меньше, чем в "удаленную яму" - S2 . Этот интересный факт подмечен в теории дискретных Марковских процессов и объясняется он тем, что p q , то есть процесс имеет как бы "правый уклон". Рассмотренная выше модель называется в теории дискретных Марковских процессов моделью случайного блуждания. Такими моделями часто объясняются многие физические и технические явления и даже поведение игроков во время различных игр.

В частности, в рассмотренном примере объясняется факт того, что более сильный игрок может дать заранее значительное преимущество ("фору") слабому противнику и все равно его шансы на выигрыш будут более предпочтительными.

Кроме указанных выше средних характеристик вероятностного процесса с помощью фундаментальной матрицы можно вычислить моменты и более высоких порядков. В частности, дисперсия числа пребывания в том или ином состоянии - D определяется с помощью следующей матрицы:, где

- диагональная матрица, т.е. матрица, полученная из М путем оставления в ней лишь диагональных элементов и замены остальных элементов нулями. Например, приведенная выше матрица (6) будет иметь вид:.

В свою очередь, матрица представляет собой матрицу, полученную из М путем возведения в квадрат каждого ее элемента, то есть для (6) будем иметь: .[4]

Марковская неоднородная цепь.

Допустим, что в системе S протекает Марковский дискретный процесс с дискретным временем. Пусть - возможные состояния системы S и - шаги, в которые система может перескакивать из состояния в состояние, то есть иметь Марковскую цепь.

Марковская цепь называется неоднородной, если переходные вероятности (хотя бы одна) зависят от номера шага k.

В этом случае переходные вероятности будем обозначать . Тогда и матрица переходных вероятностей будет зависеть от k: , то есть матрица при каждом является стохастической.

Для неоднородной Марковской цепи вектор-строка вероятностей состояний (1)

Для неоднородной Марковской цепи имеет место следующая формула: (2)

У неоднородной Марковской цепи переходные вероятности (хотя бы одна из них) и, следовательно, матрица переходных вероятностей зависят от номера k.

Вероятности состояний неоднородной Марковской цепи на каждом шаге k вычисляется либо по реккурентной формуле (1), либо по формуле (2) , где - вектор начального распределения вероятностей состояний системы. [1]

Дискретный Марковский случайный процесс с непрерывным временем.

Помимо случайных процессов с дискретным временем на практике достаточно часто встречаются случайные процессы  с непрерывным временем, при которых система может менять свои состояния в любой случайный промежуток времени.

Пусть - всевозможные состояния системы S. Вероятность события , состоящего в том, что система S в момент времени t находится в состоянии Si, называется вероятностью i-ого состояния системы в момент времени. Вероятность состояния является, таким образом, вероятностной функцией времени .

Так как в любой момент времени t система S будет находиться только в одном из состояний , то события несовместны и образуют полную группу. Поэтому имеет место нормировочное условие: .

Плотностью вероятности перехода системы S из состояния в состояние в момент времени t называется величина , откуда следует, что . Из определения плотностей вероятности перехода  видно, что они в общем случае зависят от времени t, неотрицательны и в отличие от вероятностей могут быть больше 1.

Если при любых плотности вероятностей переходов не зависят от времени t, и тогда вместо будем писать просто, то Марковский процесс с непрерывным временем называется однородным. Если же хотя бы при одной паре значений плотность вероятности перехода изменяется с течением времени t, процесс называется неоднородным.

Вероятности состояний (неизвестные вероятностные функции) являются решением следующей системы дифференциальных уравнений: . Система представляет собой систему n обыкновенных линейных однородных дифференциальных уравнений первого порядка с постоянными коэффициентами. Эта система называется системой дифференциальных уравнений Колмогорова.

Составить систему Колмогорова удобно по одному из следующих правил:

I.                   правило составления дифференциальных уравнений Колмогорова по размеченному графу состояний. Для того чтобы составить дифференциальное уравнение Колмогорова для функции , надо в левой части этого уравнения записать производную функции , а в правой части уравнения – произведение - суммы плотностей вероятностей переходов у стрелок, выходящих из состояния Si, на вероятность этого состояния со знаком минус, плюс сумму произведений плотностей вероятностей переходов , соответствующих стрелкам, входящим в состояние Si, на вероятности состояний , из которых эти стрелки выходят. При этом плотности вероятностей переходов , соответствующие отсутствующим стрелкам на графе, равны 0.

II.                Правило составления дифференциальных уравнений Колмогорова по матрице плотностей вероятностей переходов. Для составления дифференциального уравнения Колмогорова для функции надо в левой части уравнения записать производную функции , а в правой части уравнения – произведение - суммы элементов i-ой строки матрицы плотностей вероятностей на вероятность состояния Si (номер которой совпадает с номером взятой строки) со знаком минус, плюс сумму произведений элементов i-ого столбца на соответствующие им вероятности . Система дифференциальных уравнений  Колмогорова составленная, например, по матрице плотностей вероятностей переходов  имеет следующий вид: .

Итак, составлять систему дифференциальных уравнений Колмогорова можно либо по размеченному графу состояний, либо по матрице плотностей вероятностей переходов. [4]

Пуассоновский стационарный (простейший) поток событий.

При изучении дискретных случайных процессов с непрерывным временем в экономической практике полезным оказывается рассмотрение так называемых «потоков событий». Потоком событий называется последовательность событий, наступающих одно за другим в какие-то, вообще говоря, случайные моменты времени.

События в потоке называются однородными, если их различают только по моментам их наступления, и неоднородными – в противном случае, то есть если различимость событий в потоке помимо моментов их наступления осуществляется еще по каким-нибудь их свойствам.

Поток называется регулярным, если события в нем наступают последовательно через строго определенные промежутки времени.

Поток называется потоком без последствия (или потоком без памяти), если для любой пары непересекающихся промежутков времени число событий, наступающих за один из них, не зависит от числа событий, наступающих за другой.

Поток событий называется ординарным, если вероятность наступления за элементарный (малый) промежуток времени более одного события можно пренебречь по сравнению с вероятностью наступления за этот промежуток времени не более одного события. Ординарность потока означает, что события в нем за достаточно малый промежуток времени либо не наступили, либо наступают по одному, а не по несколько.

Поток событий называется стационарным, если вероятность наступления того или иного числа событий за какой-либо промежуток времени зависит только длины этого промежутка и не зависит от момента его начала. Стационарность потока означает, что его вероятностные характеристики не зависят от времени, то есть не изменяются с течением времени.

Поток событий, обладающий свойствами отсутствия последствий и ординарности, называется пуассоновским. Стационарный пуассоновский поток называется простейшим. Среднее число событий потока наступающих в единицу времени, называется интенсивностью или средней плотностью потока. Интенсивность простейшего потока не изменяется с течением времени .[4]

Одной из важных характеристик потока является дискретная случайная величина , представляющая собой число событий, наступающих за промежуток времени . Пусть - вероятность того, что за промежуток времени в потоке наступят точно m событий: , его математическое ожидание и дисперсия равны , а среднее квадратическое отклонение равно .

Другой важной характеристикой является непрерывная случайная величина T - промежуток времени между двумя любыми соседними событиями потока. Аналитические выражения основных характеристик случайной величины T даются в следующей теореме. В простейшем потоке с интенсивностью для случайной величины T:

1)           Интегральная функция распределения , то есть вероятность события , состоящего в том, что промежуток времени T между двумя любыми соседними событиями будет меньше t, равна .

2)           Дифференциальная функция распределения (или плотность распределения) равна.

3)           Математическое ожидание равно .

4)           Дисперсия .

5)           Среднее квадратическое отклонение .[1]

Экономическое применение.

Современные финансово – банковские операции часто предполагают не отдельные или разовые платежи, а некоторую их последовательность во времени, например погашение задолженности в рассрочку, периодическое поступление доходов от инвестиций, выплаты пенсии. Такого рода последовательность, или ряд платежей, называют потоком платежей.

Поток платежей все члены которого – положительные величины, а временные интервалы между платежами одинаковы, называют финансовой рентой, или просто рентой. Так, например рентой является последовательность получения процентов по облигациям, платежи по потребительскому кредиту, выплаты в рассрочку страховых премий. Иногда подобного рода платежи называют аннуитетом, что, строго говоря, применительно только к ежегодным выплатам.

Обобщающие поток платежей характеристики, особенно интервал между двумя соседними платежами и вероятности выплаты платежа, широко применяются в различных финансовых расчетах. Так без них, например, невозможно разработать план последовательного погашения задолженности, измерить финансовую эффективность проекта, осуществить сравнение или безубыточное изменение условий контрактов, решать многие другие практические проблемы. [5]

Рассмотрим общую постановку задачи. Допустим для анализа изменения с течением времени размера текущего фонда банка, занимающегося выдачей долгосрочных ссуд, важно обладать информацией о процессе поступления в банк выплат по займам.

Наблюдение за банком в предшествующем периоде показало, что число поступающих в банк выплат за любой промежуток времени длинной не зависит от момента времени с которого начался отсчет промежутка времени , а зависит только от его продолжительности. Ожидаемое число выплат в банк за неделю равно 2. исследуем какова вероятность поступления в банк за месяц 7 выплат и найдем вероятность того, что интервал времени между двумя соседними выплатами меньше 2 дней.

Обозначим поток выплат по займам через :

1.      месяц = 4 недели и , тогда 

2.      вероятность  [4]

Для современной российской экономики весьма актуальна проблематика математического моделирования как дисциплины, ориентированной на проектирование, внедрение и сопровождение финансовых инноваций: новых финансовых стратегий, инструментов и процессов. Это объясняется резкой трансформацией хозяйственного уклада России и острой потребностью в новых финансовых технологиях. Так, применяя математический аппарат исследования операций, разработана технология управления портфелем ценных бумаг в динамике в предположении, что изменение цен на бумаги от сессии к сессии описывается в виде Марковского процесса с дискретным временем и заданной глубиной памяти, при использовании локально-оптимальных стратегий; реализация стратегии за год практических расчетов на примере государственных краткосрочных облигаций (ГКО) обеспечила доходность в среднем 14% в месяц за год при 8.44% в месяц у портфеля в среднем по рынку. Управление инвестиционным портфелем является типичной задачей исследования операций. В ней присутствуют все атрибуты канонической постановки:

     цель операции носит многокритериальный характер (ожидаемый выигрыш, риск, ликвидность и т.п.);

     процесс развивается в динамике;

     цены - неопределенный фактор;

     инвестор - оперирующая сторона;

     аналитик - исследователь операции;

     трейдер - исполнительное лицо оперирующей стороны;

     внешняя среда - другие участники торгов;

     инфраструктура рынка (общие экономические и институциональные ограничения, структура биржи и т.д.). В последующем изложении приняты следующие основные допущения:

     динамика цен на обращаемые бумаги рассматривается как случайный марковский процесс с дискретным временем;

     исходная задача формулируется в классе однокритериальных задач: критерий - математическое ожидание дохода. Проблема ликвидности не носит ограничительного характера. Динамика цен такова, что игрокам не грозит разорение, и риски, связанные с выбором управления, на каждом отдельном шаге компенсируются длительностью периода управления;