Изменения

Общая архитектура TextFuseNet представлена выше (см. Рисунок 4). В качестве основы для FPN используется ResNet, на этом этапе извлекаются общие признаки. Далее Выходные данные используются RPN и ветвью Semantic Segmentation. RPN используется RPN для генерации предполагаемых текстовых областей, что используется в последующих ветках Detection и Mask. Для извлечения многоуровневого представления признаков используются дополнительные реализации. Во-первых, вводится новая ветвь семантической *В ветви Semantic Segmentation с помощью сегментации, чтобы провести сегментацию входного изображения и получить определяются признаки на глобальном уровне. Далее в *В ветви Detection, извлекаются признаки на словесном уровне и объединяются с помощью предсказания категорий и использования признаками глобального уровня. Полученное представление используется для регрессии окружающей рамки, уточняются предложенные областии классификации объектов (текста/букв). Затем в этой же *В ветви происходит извлечение Mask извлекаются признаки на символьном уровне. После все три уровня признаков (символьный, словесный и объединение глобального и словесного уровней для обнаружения как словглобальный) объединяются, так и символов. Для ветви Mask, которая выполняет сегментацию полученное представление используется при сегментации экземпляров (instance segmentation) для объектов, полученных из в ветви обнаружения, извлекаются и объединяются все признаки глобального, словесного и символьного уровня. Конечной задачей является сегментация на объединённом представлении признаковDetection. Для этого применяется свертка 1×1 для выравнивания номеров каналов объектов с разных уровней и изменения размера карт объединения признаков до одного размера для последующей унификациииспользуется модуль Multi-Path Fusion, общая схема работы которого представлена ниже (Рис.5):