74
правки
Изменения
→Классификация методов NST
====Nonparametric Texture Modelling with MRFs====
=====Алгоритм Ли и Ванда=====
Непараметрический IOB-NST построен на основе непараметрического моделирования текстуры с помощью MRF. Эта категория рассматривает NST на локальном уровне, то есть работает с патчами, чтобы соответствовать стилю.
Метод параметрического NST со сводной статистикой фиксирует только корреляции между элементами пикселей и не ограничивает пространственное расположение, что приводит к менее визуально правдоподобному результату для фотореалистичных стилей. Решение состоит в том, чтобы смоделировать стиль непараметрическим способом и ввести новую функцию потери стиля, которая включает MRF на основе патчей:
<math>\mathcal{L}_{S} = \sum_{l \in l_{S}} {\sum^{m}_{i=1} \| \Psi_{i} (\mathcal{F}^{l}(I)}) - \Psi_{NN_{i}} (\mathcal{F}^{l}(I_{S}))\| ^2}</math>,
где <math>\Psi_{i} (\mathcal{F}^{l}(I)})</math> {{---}} набор всех локальных накладок из карт объектов <math>\mathcal{F}^{l}(I)</math>.
<math>\Psi_{i}</math> обозначает i-ую локальную накладку и <math>\Psi_{NN_{i}}</math> является наиболее похожим патчем стиля с i-тым локальным патчем в стилизованном изображении <math>I</math>. Наилучшее соответствие <math>\Psi_{NN_{i}}</math> получается путем вычисления нормализованной взаимной корреляции по всем патчам стиля в изображении стиля <math>I_{S}</math>, <math>m</math> {{---}} общее количество локальных патчей.
=====Преимущества и недостатки алгоритма Ли и Ванда=====
Поскольку алгоритм соответствует стилю на уровне патча, тонкая структура и расположение лучше сохраняются. Преимущество алгоритма состоит в том, что он особенно эффективен для фотореалистичных стилей или, более конкретно, когда фотография и стиль контента похожи по форме и перспективе из-за потери MRF на основе патчей. Однако, как правило, происходит сбой, когда содержимое и стиль изображений имеют сильные различия в перспективе и структуре, поскольку исправления изображения не могут быть правильно сопоставлены. Он также ограничен в сохранении четких деталей и информации о глубине.
===Model-Optimisation-Based Offline Neural Methods===
== Функция потерь ==
