Изменения

для МППР без терминальных состояний (где <tex>0 \leq \gamma \leq 1</tex> —--- дисконтирующий множитель для „предстоящего выигрыша“).

<i>S — </i>~--- множество состояний среды<br />

1: # инициализация стратегии π1<math>\pi_1(a|s) </math> и состояния среды s1<math>s_1<math>2: # для всех t = 1, . . . T, . . .3: # агент выбирает действие at ∼ πt(a|st);4: # среда генерирует премию rt+1 ∼ p(r|at,st)и новое состояние st+1 ∼ p(s|at,st);5: # агент корректирует стратегию πt+1(a|s); Это марковский процесс принятия решений (МППР), еслиPPst+1 = s′,rt+1 = r�� st, at,rt, st−1, at−1,rt−1, . . . ,s1, a1�== Pst+1 = s′,rt+1 = r�� st, at�