Марковский момент

В математике теория момента остановки или марковский момент времени связана с проблемой выбора времени, чтобы принять определённое действие, для того чтобы максимизировать ожидаемое вознаграждение или минимизировать ожидаемые затраты. Проблема момента остановки может быть найдена в области статистики, экономики и финансовой математики (связанные с ценообразованием на американские опционы). Самым ярким примером, относящимся к моменту остановки, является Задача о разборчивой невесте. Проблема момента остановки часто может быть написана в форме уравнения Беллмана и поэтому часто решается с помощью динамического программирования.

Определение

Случай с дискретным временем

Как правило, проблема момента остановки связана с двумя объектами:

Последовательность случайных величин $X_{1},X_{2},\ldots$ , чье совместное распределение предполагается известным
Последовательность «вознаграждающих» функций $(y_{i})_{i\geq 1}$ которые зависят от наблюдаемых значений случайных величин в 1.:
$y_{i}=y_{i}(x_{1},\ldots ,x_{i})$

С учетом этих объектов, проблема заключается в следующем:

Вы, соблюдая последовательность случайных величин, на каждом $i$ можете выбрать либо прекратить наблюдение либо продолжить
Если вы прекратите наблюдать на $i$ , вы получите награду $y_{i}$
Вы хотите выбрать правило остановки, чтобы максимизировать предполагаемое вознаграждение (или, что эквивалентно, минимизации ожидаемых потерь)

Случай непрерывного времени

Рассмотрим усиление процессов $G=(G_{t})_{t\geq 0}$ определёнными на фильтрованном вероятностном пространстве $(\Omega ,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} )$ и предположим, что $G$ это адаптирование фильтрации. Задача момента остановки состоит в том, чтобы найти время остановки $\tau ^{*}$ которое максимизирует ожидаемый выигрыш

V_{t}^{T}=\mathbb {E} G_{\tau ^{*}}=\sup _{t\leq \tau \leq T}\mathbb {E} G_{\tau }

где $V_{t}^{T}$ называется значением функции. Здесь $T$ может иметь значение $\infty$ .

Более конкретная формулировка выглядит следующим образом. Мы считаем, адаптированный сильный Марковский процесс $X=(X_{t})_{t\geq 0}$ определённый на фильтрованном вероятностном пространстве $(\Omega ,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} _{x})$ где $\mathbb {P} _{x}$ обозначает вероятность измерения, где случайный процесс начинается с $x$ . С учетом непрерывных функций $M,L$ и $K$ в задаче момента остановки

V(x)=\sup _{0\leq \tau \leq T}\mathbb {E} _{x}\left(M(X_{\tau })+\int _{0}^{\tau }L(X_{t})dt+\sup _{0\leq t\leq \tau }K(X_{t})\right).

Иногда это называется МЛС (Майер, Лагранж и супремум, соответственно) формулировка.[1]

Методы решения

Есть два подхода к решению проблемы момента остановки. Когда основной процесс (или усиление процесса) описывается своим безусловным конечномерным распределением, тогда соответствующий метод решения — подход Мартингала, названный так потому, что он использует теорию Мартингала, наиболее важным понятием является разработка Снелла. В дискретном случае, если горизонт планирования $T$ конечен, проблема может быть легко решена с помощью динамического программирования.

Когда основной процесс определяется семейством (условных) функций переходов приводящих к Марковскому семейству вероятностных переходов, часто могут быть использованы мощные аналитические инструменты теории Марковских процессов и такой подход называется Марковским методом. Решение обычно получается решения ассоциированных задач со свободными границами (Стефан проблемы).

Результат диффузии прыжка

Пусть $Y_{t}$ будет диффузия Леви в $\mathbb {R} ^{k}$ из стохастического дифференциального уравнения

dY_{t}=b(Y_{t})dt+\sigma (Y_{t})dB_{t}+\int _{\mathbb {R} ^{k}}\gamma (Y_{t-},z){\bar {N}}(dt,dz),\quad Y_{0}=y

где $B$ — $m$ -мерное Броуновское движение, ${\bar {N}}$ это $l$ -мерное компенсированная пуассоновская случайная мера, $b:\mathbb {R} ^{k}\to \mathbb {R} ^{k}$ , ${\displaystyle \sigma$ , и ${\displaystyle \gamma$ заданы такие функции, что единственное решение $(Y_{t})$ существует. Пусть ${\mathcal {S}}\subset \mathbb {R} ^{k}$ будет открытым множеством (область платежеспособности) и

\tau _{\mathcal {S}}=\inf\{t>0:Y_{t}\notin {\mathcal {S}}\}

время банкротства. Задача оптимальной остановки:

V(y)=\sup _{\tau \leq \tau _{\mathcal {S}}}J^{\tau }(y)=\sup _{\tau \leq \tau _{\mathcal {S}}}\mathbb {E} _{y}\left[M(Y_{\tau })+\int _{0}^{\tau }L(Y_{t})dt\right].

Получается, что при некоторых условиях регулярности,[2] следующая проверка теоремы содержит:

Если функция ${\displaystyle \phi$ удовлетворяет

$\phi \in C({\bar {\mathcal {S}}})\cap C^{1}({\mathcal {S}})\cap C^{2}({\mathcal {S}}\setminus \partial D)$ где области являются продолжением $D=\{y\in {\mathcal {S}}:\phi (y)>M(y)\}$ ,
$\phi \geq M$ на ${\mathcal {S}}$ и
${\mathcal {A}}\phi +L\leq 0$ на ${\mathcal {S}}\setminus \partial D$ , где ${\mathcal {A}}$ — бесконечно малый генератор из $(Y_{t})$

тогда $\phi (y)\geq V(y)$ для всех $y\in {\bar {\mathcal {S}}}$ . Кроме того, если

${\mathcal {A}}\phi +L=0$ на $D$

Тогда $\phi (y)=V(y)$ для всех $y\in {\bar {\mathcal {S}}}$ и $\tau ^{*}=\inf\{t>0:Y_{t}\notin D\}$ — момент остановки

Эти условия могут быть записаны в более компактной форме (интегро-вариационного неравенства):

$\max \left\{{\mathcal {A}}\phi +L,M-\phi \right\}=0$ на ${\mathcal {S}}\setminus \partial D.$

Примеры

Подбрасывание монетки

(Например, где $\mathbb {E} (y_{i})$ сходится)

У вас есть монета и вы её неоднократно бросаете. Каждый раз, перед тем, как её бросить, вы можете прекратить бросать её и получать деньги (в долларах, скажем), за средним числом наблюдаемых головок.

Вы хотите, чтобы сумма, которую бы вам заплатили, была бы максимальной, выбирая правило остановки. Если х_i (где i ≥ 1) образует последовательность независимых, одинаково распределенных случайных величин с распределением Бернулли

{\text{Bern}}\left({\frac {1}{2}}\right),

и если

y_{i}={\frac {1}{i}}\sum _{k=1}^{i}X_{k}

тогда в последовательности $(X_{i})_{i\geq 1}$ и $(y_{i})_{i\geq 1}$ будут объекты, связанные с этой проблемой.

Продажа дома

(Например, где $\mathbb {E} (y_{i})$ не обязательно сходится)

У вас есть дом и вы хотели бы продать его. Каждый день вам предлагают $X_{n}$ за ваш дом, и платить $k$ для продолжения рекламы. Если вы продаете ваш дом в день $n$ , вы заработаете $y_{n}$ , где $y_{n}=(X_{n}-nk)$ .

Вы хотите максимизировать сумму, которую вы зарабатываете, выбирая правило остановки.

В этом примере последовательности ( $X_{i}$ ) является последовательностью предложений за ваш дом, а последовательность «вознаграждений» функций определяет, сколько вы будете зарабатывать.

Задача о разборчивой невесте

(Например, где $(X_{i})$ — это конечная последовательность)

Вы наблюдаете последовательность объектов, которые могут быть отсортированы от лучшего к худшему. Вы хотите выбрать правило остановки, которое максимизирует ваши шансы на выбор лучшего объекта.

К примеру, если $R_{1},\ldots ,R_{n}$ (n - это некоторое большое число, возможно) — ранги объектов, и $y_{i}$ это шанс, что вы выберете лучший объект, если вы остановите намеренное отклонение объектов на этапе i, то $(R_{i})$ и $(y_{i})$ являются последовательности, связанные с этой проблемой. Эта проблема была решена в начале 1960-х годов несколько человек. Изящное решение проблемы секретаря и несколько модификаций этой проблемы обеспечивается более современным алгоритмом оптимальной остановки (алгоритм Брюса).

Теория поиска

Экономисты изучили ряд оптимальных проблем момента остановки, подобных «проблеме секретаря», и обычно называют этот тип анализа «теорией поиска». Теория поиска особенно ориентирована на поиск работником высокооплачиваемой работы или поиск потребителем недорогой продукции.

Торговля опционами

В торговле опционами на финансовых рынках, держатель американского опциона может осуществлять право купить (или продать) базовый актив по определённой цене в любое время до или в момент истечения срока. Таким образом, оценка американских опционов, по сути, проблема оптимальной остановки. Рассмотрим классическую модель Блэка-Шоулза и пусть $r$ будет безрисковой процентной ставкой $\delta$ и $\sigma$ ставка дивидендов и непостоянство акции. Цена акций $S$ следует следует за геометрическим броуновским движением

S_{t}=S_{0}\exp \left\{\left(r-\delta -{\frac {\sigma ^{2}}{2}}\right)t+\sigma B_{t}\right\}

В соответствии с мерой риска.

Когда параметр является бессрочным, задача оптимальной остановки

V(x)=\sup _{\tau }\mathbb {E} _{x}\left[e^{-r\tau }g(S_{\tau })\right]

где функция выигрыша $g(x)=(x-K)^{+}$ для опциона вызова и $g(x)=(K-x)^{+}$ для опциона ставки. Вариационное неравенство

\max \left\{{\frac {1}{2}}\sigma ^{2}x^{2}V''(x)+(r-\delta )xV'(x)-rV(x),g(x)-V(x)\right\}=0

для всех $x\in (0,\infty )\setminus \{b\}$ где $b$ это граница физических упражнений. Решение известно[3]

(Бесконечный вызов) $V(x)={\begin{cases}(b-K)(x/b)^{\gamma }&x\in (0,b)\\x-K&x\in [b,\infty )\end{cases}}$ где $\gamma =({\sqrt {\nu ^{2}+2r}}-\nu )/\sigma$ и $\nu =(r-\delta )/\sigma -\sigma /2,\quad b=\gamma K/(\gamma -1).$
(Бесконечная ставка) $V(x)={\begin{cases}K-x&x\in (0,c]\\(K-c)(x/c)^{\tilde {\gamma }}&x\in (c,\infty )\end{cases}}$ где ${\tilde {\gamma }}=-({\sqrt {\nu ^{2}+2r}}+\nu )/\sigma$ и $\nu =(r-\delta )/\sigma -\sigma /2,\quad c={\tilde {\gamma }}K/({\tilde {\gamma }}-1).$

С другой стороны, когда конечный срок действия конечен, задача связана с двумерной задачей о свободной границе без известного решения замкнутой формы. Однако могут быть использованы различные численные методы. См. Модель Black-Scholes # Американские опционы для различных методов оценки здесь, а также Fugit для дискретного дерева на основе расчета оптимального времени для тренировки.

См. также

Стохастическое управление
Марковский процесс принятия решений

Ссылки

Peskir, Goran; Shiryaev, Albert Optimal Stopping and Free-Boundary Problems (неопр.). — 2006. — Т. Lectures in Mathematics. ETH Zürich. — ISBN 978-3-7643-2419-3. — doi:10.1007/978-3-7643-7390-0.
Øksendal, B.; Sulem, A. S. Applied Stochastic Control of Jump Diffusions (неопр.). — 2007. — ISBN 978-3-540-69825-8. — doi:10.1007/978-3-540-69826-5.
Karatzas, Ioannis; Shreve, Steven E. Methods of Mathematical Finance (неопр.). — 1998. — Т. 39. — ISBN 978-0-387-94839-3. — doi:10.1007/b98840.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[opt2006-1] Peskir, Goran; Shiryaev, Albert Optimal Stopping and Free-Boundary Problems (неопр.). — 2006. — Т. Lectures in Mathematics. ETH Zürich. — ISBN 978-3-7643-2419-3. — doi:10.1007/978-3-7643-7390-0.

[oksendal2007-2] Øksendal, B.; Sulem, A. S. Applied Stochastic Control of Jump Diffusions (неопр.). — 2007. — ISBN 978-3-540-69825-8. — doi:10.1007/978-3-540-69826-5.

[karatzas1998-3] Karatzas, Ioannis; Shreve, Steven E. Methods of Mathematical Finance (неопр.). — 1998. — Т. 39. — ISBN 978-0-387-94839-3. — doi:10.1007/b98840.