Изменения
→Неконтролируемая оценка глубины монокуляра с консистенцией слева направо (CVPR 2017)
В данной работе предлагается сверточная нейронная сеть, обученная выполнять оценку глубины одного изображения без истинных данных. Авторы предлагают сетевую архитектуру, которая выполняет сквозную неконтролируемую оценку глубины монокуляра с потерей обучения, что обеспечивает согласованность глубины слева направо внутри сети.
Сеть оценивает глубину, выводя диспропорции, которые искажают левое изображение, чтобы соответствовать правому. Левое входное изображение используется для вывода диспропорций слева направо и справа налево. Сеть генерирует предсказанное изображение с обратным отображением с помощью билинейного сэмплера. Это приводит к полностью дифференциальной модели формирования изображения.
Сверточная архитектура вдохновлена Диснеем. Она состоит из двух частей—кодера и декодера. Декодер использует пропуск соединений из блоков активации кодера, чтобы добиться более высокого разрешения деталейраспознавать детали с высоким разрешением. Сеть предсказывает две карты диспропорций — слева направо и справа налево.
В процессе обучения сеть генерирует изображение путем выборки пикселей из противоположного стереоизображения. Модель формирования изображения использует сэмплер изображений из пространственной трансформаторной сети (STN) для выборки входного изображения с помощью карты диспаритетов. Используемая билинейная выборка локально дифференцируема.
Здесь представлены результаты, полученные на Китти 2015 стерео 200 обучающего набора изображений неравенства.
