25
правок
Изменения
add info on when to use conditional normalization
* Легче добавить новый стиль: достаточно взять текущие веса, добавить новые параметры сжатия и сдвига и дообучить. Веса, скорее всего, уже были близки к оптимальным и дообучение не будет долгим.
* Можно комбинировать новые стили за счёт [https://ru.wikipedia.org/wiki/%D0%9B%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BC%D0%B1%D0%B8%D0%BD%D0%B0%D1%86%D0%B8%D1%8F#%D0%90%D1%84%D1%84%D0%B8%D0%BD%D0%BD%D0%B0%D1%8F,_%D0%BA%D0%BE%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%B8_%D0%B2%D1%8B%D0%BF%D1%83%D0%BA%D0%BB%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BC%D0%B1%D0%B8%D0%BD%D0%B0%D1%86%D0%B8%D0%B8 выпуклой комбинации] существующих коэффициентов сжатия и сдвига.
===Когда использовать условную нормализацию?===
Во-первых, на условную нормализацию стоит обратить внимание, если вы
настраиваете много сетей, решающих похожие задачи. Возможно, в этом случае вы
можете использовать одну сеть с условными параметрами нормализации, зависящими
от конкретной задачи. Например, при переносе стилей вместо <tex>S</tex> сетей вы
настраиваете одну сеть с <tex>S</tex> наборами параметров нормализации.
Во-вторых, если вы подозреваете, что информация о структуре входных векторов
имеет значение для выхода. Например, имеет смысл "слить" лингвистическую
информацию и характеристики изображения для Visual Question Answering.
Однако во всех случаях надо помнить, что полученные алгоритмы для разных задач
будут различаться лишь параметрами свёртки и сжатия. Иначе говоря, если ваши
задачи нельзя выразить
[https://ru.wikipedia.org/wiki/%D0%9B%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BC%D0%B1%D0%B8%D0%BD%D0%B0%D1%86%D0%B8%D1%8F#%D0%90%D1%84%D1%84%D0%B8%D0%BD%D0%BD%D0%B0%D1%8F,%20%D0%BA%D0%BE%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F%20%D0%B8%20%D0%B2%D1%8B%D0%BF%D1%83%D0%BA%D0%BB%D0%B0%D1%8F%20%D0%BA%D0%BE%D0%BC%D0%B1%D0%B8%D0%BD%D0%B0%D1%86%D0%B8%D0%B8 аффинной комбинацией]
параметров сети после нормализации, условная нормализация не поможет.
==Пример==
