ОКРЕМІ ВИПАДКИ ЗАДАЧ ОПТИМАЛЬНОГО СТОХАСТИЧНОГО КЕРУВАННЯ
1. Зовнішній інтеграл
Функції /> і /> можуть бути довільними, а математичні сподівання можна обчислювати, якщо /> як функція від /> є вимірною.
Якщо ж оптимальна стратегія, отримана в результаті оптимізації, виявиться невимірною, то і функція /> може виявитися невимірною. У цьому випадку математичне сподівання невизначено.
Для розв’язання цієї проблеми застосовують два підходи. Перший полягає в накладенні на функції /> і /> таких обмежень, які забезпечували б вимірність підінтегральної функції на кожному кроці оптимізації />: функції /> і />, />, повинні бути неперервними по своїх аргументах і повинна існувати щільність імовірності розподілу випадкової величини />, а множини /> значень припустимих стратегій повинні бути компактними.
На жаль, на практиці ці вимоги не завжди виконуються. Тому другий підхід пов’язаний з використанням зовнішнього інтеграла.
Позначимо через /> простір елементарних подій, що є довільною множиною, а /> – деяка система підмножин множини />.
Математичним сподіванням випадкової величини />, заданої на імовірнісному просторі />, називається число />, якщо інтеграл з правої частини існує.
Нехай /> і /> – борелівські простори, />, /> є />-алгеброю в />. Функція /> називається />-вимірною, якщо /> для будь-якої множини />. Тут /> – борелівська />-алгебра простору />.
Для функції />, (/>) зовнішній інтеграл за мірою /> визначається як нижня грань інтегралів від всіх вимірних функцій /> (/>), що мажорують />, тобто
/>, />.
Тут /> – функція розподілу випадкової величини />, що відповідає ймовірнісній мірі />.
Для довільної функції /> має місце співвідношення:
/>,
де />, />, і вважають, що />.
Оскільки зовнішній інтеграл визначений для будь-якої функції, як для вимірної, так і для невимірної, то ніяких додаткових обмежень на функції /> і /> накладати не треба.
Для вимірних функцій обидва види математичних сподівань співпадають. Отже, у постановках задач можна замінити звичайне математичне сподівання на зовнішнє, і навіть якщо знайдена при цьому функція /> виявиться вимірною, то отримана стратегія керування не перестане бути оптимальною.
Зовнішня міра множини /> визначається співвідношенням />.
Для будь-якої множини />
/>,
де /> – це індикатор множини />, що визначається як />
а) якщо />, то />;
б) якщо /> і />, то />;
в) якщо /> або />, то />;
г) якщо /> задовольняє рівності />, то для будь-якої функції /> має місце рівність />;
д) якщо />, то /> для будь-якої функції />;
е) якщо /> і />, то />. Якщо при цьому хоча б одна з функцій /> або />/>-вимірна, то останнє співвідношення вірно зі знаком рівності.
Позначимо через /> дійсну пряму, а через /> – розширену дійсну пряму і надалі у всіх висновках замість дійсної прямої використовуватимемо поняття розширеної дійсної прямої.
Вважатимемо, що для розширеної дійсної прямої мають місце всі співвідношення порядку додавання і множення, які було введено для />, і припустимо, що /> і />.
Позначимо через /> множину всіх дійсних у розширеному розумінні функцій />, де /> – простір станів.
/> – банахів простір всіх обмежених дійсних функцій /> з нормою, що визначається за формулою
/>, />.
Позначатимемо />, якщо />, />, /> і />, якщо />, />, />.--PAGE_BREAK--
Для будь-якої функції /> і будь-якого числа /> позначимо через /> функцію, що приймає значення /> в кожній точці />, так, що
/>, />.
Припущення монотонності. Для будь-яких станів />, керування /> і функцій /> мають місце нерівності
/> якщо /> і />;
/>, якщо /> і />;
/>, якщо />, /> і />.
Для будь-якого /> стратегія /> називається />-оптимальною при горизонті />, якщо
/>
і />-оптимальною, якщо
/>
Багато задач послідовної оптимізації, що становлять практичний інтерес, можуть розглядатися як окремі випадки задач загального виду. Розглянемо деякі з них:
задачі детермінованого оптимального керування;
задачі стохастичного керування зі зліченним простором збурень;
задачі стохастичного керування із зовнішнім інтегралом;
задачі стохастичного керування з мультиплікативним функціоналом витрат;
задачі мінімаксного стохастичного керування.
2. Детерміноване оптимальне керування
Розглянемо відображення />, що задане формулою
/>, />, />, /> (1)
за таких припущень:
функції /> і /> відображають множину /> відповідно в множини /> і />, тобто />, />; скаляр /> додатний.
За цих умов відображення /> задовольняє припущенню монотонності. Якщо функція /> дорівнює нулю, тобто />, />, то відповідна />-крокова задача оптимізації (1) набуває вигляду:
/>, (2)
/>. (3)
Ця задача є задачею детермінованого оптимального керування зі скінченним горизонтом. Задача з нескінченним горизонтом має наступний вигляд:
/>, (4)
/>. (5)
Границя в (4) існує, якщо має місце хоча б одна з наступних умов:
/>, />, />;
/>, />, />;
/>, />, />, /> і деякого />.
У задачі (4) – (5) може бути уведене додаткове обмеження на стан системи />, />. У такому разі, якщо />, позначатимемо />.
3. Оптимальне стохастичне керування: зліченний простір збурень
Розглянемо відображення />, що задане формулою
/>, (6)
за таких припущень:
параметр /> приймає значення зі зліченної множини /> з заданим розподілом ймовірностей />, що залежать від /> і />; функції /> і /> відображають множину /> відповідно в множини /> і />, тобто />, />; скаляр /> додатний.
Якщо />, />, – елементи множини />, /> – довільний розподіл ймовірностей на />, а /> – деяка функція, то математичне сподівання визначається за формулою
/>,
де />,
/>,
/>.
Оскільки />, то математичне сподівання /> визначене для будь-якої функції /> і будь-якого розподілу ймовірностей /> на множині />. продолжение
--PAGE_BREAK--
Зокрема, якщо />, />,… – розподіл ймовірностей /> на множині />, то формулу (6) можна переписати так:
/>
При використанні цього співвідношення треба пам’ятати, що для двох функцій />, /> рівність /> має місце, якщо виконується хоча б одна з трьох умов:
/> та />;
/> та />;
/> та />.
Відображення /> задовольняє припущенню монотонності. Якщо функція /> – тотожний нуль, тобто />, />, то за умови />, />, функцію витрат за /> кроків можна подати у вигляді:
/> (7)
де />, />.
Ця умова означає, що математичне сподівання обчислюється послідовно по всіх випадкових величинах />.
При цьому зміна порядку операцій додавання і узяття математичного сподівання припустима, тому що />, />, і для довільних простору з мірою />, вимірної функції />і числа />має місце рівність />.
Якщо виконується одна з двох нерівностей
/> або
/>,
то функцію витрат за /> кроків /> можна записати у вигляді:
/>,
де математичне сподівання обчислюється на добутку мір на />, а стани />, />, виражаються через /> за допомогою рівняння />.
Якщо функція /> допускає подання у такому вигляді для будь-якого початкового стану /> та будь-якої стратегії />, то />-крокова задача може бути сформульована так:
/>, (8)
/>. (9)
Відповідна задача з нескінченним горизонтом формулюється так:
/>, (10)
/>. (11)
Границя в (10) існує при виконанні будь-якої з трьох наступних умов:
/>, />, />, />;
/>, />, />, />;
/>, />, />, />, /> і деякого />.
Математичне сподівання визначається і як звичайний інтеграл, і як зовнішній інтеграл з />-алгеброю в множині />, що складається із всіх підмножин />, в залежності від вимірності або невимірності функцій.
Для багатьох практичних задач виконується припущення про зліченність множини />.
Якщо ж множина /> незліченна, то справа ускладнюється необхідністю обчислення математичного сподівання
/>
для будь-якої функції />. Подолання цих труднощів і пов’язане з використанням зовнішнього інтеграла.