Марковские модели принятия решений

Определение 1. Случайный процесс, протекающий в системе S, называется марковским процессом, если он обладает следующим свойством: для каждого момента времени  вероятность любого состояния системы в будущем (при ) зависит только от ее состояния в настоящем (при )  и не зависит от того, когда и каким образом система пришла в это состояние (т.е. как развивался процесс в прошлом).

Определение 2. Случайный процесс называется процессом с дискретными состояниями, если возможные состояния системы можно перечислить (перенумеровать) одно за другим, а сам процесс состоит в том, что время от времени система скачком (мгновенно) перескакивает из одного состояния в другое.

Определение 3. Случайный процесс называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени , , …, …. В промежутках времени между этими моментами  система сохраняет свое состояние.

 Определение 4. Случайный процесс называется процессом с непрерывным временем, если переход системы из состояния в состояние возможен в любой, наперед неизвестный, случайный момент времени.

В этом параграфе мы остановимся на марковских случайных процессах с дискретными состояниями и дискретным временем.

Пример 1. Технический прибор тестируется в начале каждой недели и по результатам тестирования всю эту неделю находится либо в эксплуатации, либо в ремонте. Статистика показывает, что если прибор первую неделю ремонтировался, то по результатам тестирования он будет признан годным к работе с вероятностью 0,8; однако с каждой последующей неделей эта вероятность уменьшается в два раза. Кроме того, статистические данные показывают, что если первую неделю прибор работал, то после тестирования он будет признан годным к работе с вероятностью 0,9; однако с каждой последующей неделей эта вероятность  уменьшается в полтора раза.

В этом примере система (технический прибор) после каждого тестирования может находиться в одном из двух состояний:

 — прибор годен к работе;

 — прибору требуется ремонт.

Переходы системы из состояния в состояние возможны только в дискретные моменты времени (в начале каждой недели). Вероятность перехода ее из состояния в состояние после каждого тестирования зависит от того, в каком состоянии система была на неделе, предшествующей данному тестированию,  и не зависит от того, что происходило с ней на более ранних неделях. Таким образом, процесс, протекающий в системе, — это марковский процесс с дискретными состояниями и дискретным временем.  

Пусть имеется физическая система S, которая может находиться в состояниях , , …, , причем переходы системы из состояния в состояние возможны только в моменты , , …, …. Будем называть эти моменты шагами или этапами процесса и рассматривать случайный процесс, происходящий в системе S, как функцию целочисленного аргумента 1,2,…,  (номера шага).

Условимся обозначать через  событие, состоящее в том, чтобы после k шагов система находится в состоянии . Тогда процесс, происходящий в системе, можно пред

Ссылка на основную публикацию
Adblock detector