Изменения

* '''Database Operator'''. Предоставляет данныеВыходом является вектор x_t, который указывает на записи (сущности в БД), которая соответствует слоту.

* '''Intent Network'''. Является кодирующей сетью, которая преобразует последовательность токенов <tex> w_0^t, w_1^t, \ldots, w_N^t </tex> в вектор <tex> z_t </tex>. В качестве вектора <tex> z_t </tex> может выступать скрытый слой <tex> z_t^N </tex> LSTM-сети:

* '''Belief Tracker'''. Дает распределение вероятностей наличия во фразе множества сущностей. Для В реализации используют используется RNN-сеть. Дает распределение вероятностей <tex> p_s^t </tex> по всем значениям определенного слота <tex> s </tex>.

* '''Policy network'''. Объединяет все системные модули. Выходом является вектор <tex> o_t </tex>, который представляет системное действие. Распределение вероятностей для каждого слота <tex> \hat p_s^t </tex> пребразуется в вектор <tex> \hat p_s^t </tex>, который состоит из трех компонент: суммарная вероятность, вероятность, что пользователь сказал, что слот его не интересует, и вероятность, что слот не был упомянут. Также вектор x_t сжимается до нескольких компонент, которые определяют количество совпадений. <tex> o_t = \tanh(W_{zo} z_t + W_{po} \hat p_t + W_{xo} \hat x_t), </tex>* '''Generation Network'''. где матрицы <tex> W_{zo} </tex>, <tex>W_{po} </tex> и <tex> W_{xo} </tex> {{---}} параметры, а <tex> \hat p_t = \hat p_s^t </tex> {{---}} конкатенация,