Изменения

Классический метод построения целеориентированных систем заключается в использовании цепочки модулей (пайплайна), которая изображена на рисунке 12.

Рисунок 12. Диаграмма классической архитектуры диалоговой системы]]

'''Именованная сущность (англ. named entity)''' {{---}} слово во фразе пользователя, которое можно отнести к определенному типу.<br />

Если заменить каждую часть классической архитектуры искусственной нейронной сетью, то получим архитектуру изображенную на рисунке 23.

[[Файл : Ds-nn-to.png | 400px | thumb | right | Рисунок 23. Нейросетевая архитектура диалоговой системы]]

* '''Intent Network'''. Кодирующая сеть, которая преобразует последовательность токенов <tex> w_0^t, w_1^t, \ldots, w_N^t </tex> в вектор <tex> \mathbf{z}_t </tex>. В качестве вектора <tex> \mathbf{z}_t </tex> может выступать скрытый слой LSTM-сети <tex> \mathbf{z}_t^N </tex>:<br />: <tex> \mathbf{z}_t = \mathbf{z}_t^N = \operatorname{LSTM}(w_0^t, w_1^t, ..., w_N^t) </tex>

* '''Policy network'''. Объединяет системные модули. Выходом является вектор <tex> \mathbf{o}_t </tex>, который представляет системное действие. Распределение вероятностей для каждого слота <tex> \mathbf{p}_s^t </tex> пребразуется в вектор <tex> \hat \mathbf{\hat p}_s^t </tex>, который состоит из трех компонент: суммарная вероятность, вероятность, что пользователь выразил безразличие к слоту, и вероятность, что слот не был упомянут. Также вектор <tex> \mathbf{x}_t </tex> сжимается в one-hot-вектор <tex> \hat \mathbf{\hat x}_t </tex>, где каждая компонента определяет количество подходящих записей. : <br /> <tex> o_t \mathbf{o}_t = \tanh(W_{zo} z_t \mathbf{z}_t + W_{po} \mathbf{\hat p_t p}_t + W_{xo} \mathbf{\hat x_tx}_t), </tex> : <br /> где матрицы <tex> W_{zo} </tex>, <tex>W_{po} </tex> и <tex> W_{xo} </tex> {{---}} параметры, а <tex> \hat \mathbf{\hat p}_t = \bigoplus \hat \mathbf{\hat p}_s^t </tex> {{---}} конкатенация,  * '''Generation Network'''. Генерирует предложение, используя вектор действия o и генератор языка.  Данную архитектуру также называют сквозной (англ. end-to-end trainable), так как каждая ее часть обучается на данных.  Полиси нетворк -- рекурентная сеть, которая хранит состояния, из которых декодируется ответ. В ответе есть специальные токены, вместо которых подставляются данные.  Такая значительно лучше (ссылка) https://arxiv.org/abs/1604.04562 Эмбединги предложений попадают в энекодер. Закодированный диалог попадает в память. Там вектора усредняются и получается вектор состояния.  End-to-end (E2E) генеративные диалоговые модели основаны на кодер-декодер нейронных сетях. Идея заключается в использвании кодирующей сети для трансляции конекста диалога в распределение и затем использовать декодирующуюю сеть для генерации ответа системы. Такие модели не требуют создавать промежуточные состояния вручную и могут обобщаться на реакции, которые не наблюдались во время обучения.  Именованная сущность (просто сущность) -- параметр запроса   Эмбидинг -- 2 Контекст Для генерации ответа используют генеративные модели, либо шаблоны. Системы имеющие такую структуру имеют проблему масштабирования. Накапливается большое число правил, которые сложно согласовывать друг с другом. Время на сопровождение системы быстро растет, а затраченных ресурсов становится больше, чем нанят живого человека  Каноническая архитектура показана на рисунке. === Нейросетевая архитектура ===   Как извлекать намерение? Можно использовать регулярные выражения. Но один и тот же запрос на естественном языке можно построить по-разному, часто такой подход будет ошибаться. Сложно описать все возможные способы задания запроса Целеориентированные диалоговые системы. Позволяет решать одну задачу.  Модель на основе нейронных сетей (end-to-end): Энкодер-Декодер с вниманием. Проблемы: валидных ответов может быть несколько, контекст может находится за пределами диалога.

Чатоирентированные системы Данную архитектуру также называют сквозной (англ. end-to-end trainable), так как правило используются для развлечения и общения в чатена данных обучается каждая ее часть. В разработке так же используются либо retrieval-based methods и генеативные Для моделис данной архитектурой не требуется создавать промежуточные состояния вручную, а также ее можно обобщить на намерения, которые не наблюдались во время обучения.

=== С генерацией ответов===

== Примеры диалоговых систем==

Языковые модели: word2vec, esim, gpt, bert. Хорошей языковой модели достаточно около 100 примеров для хорошей классификации намерения.