Изменения

При дальнейшем чтении статьи могут возникнуть вопросы относительно методов измерения точности моделей. Абсолютное большинство исследователей выбирают В качестве меры точности используется [[:Оценка_качества_в_задачах_классификации|F-мерумера]] в качестве меры точности (естественно, совместно с precision и recall). В задаче распознавания текста precision {{---}} это количество правильно распознанных слов из общего числа слов, которые модель сумела найти на изображениях; recall {{---}} это количество правильно распознанных слов из всех слов, представленных в наборе данных. В задаче детекции текста для различных наборов данных используются различные протоколы оценки, с помощью которых определяется recall и precision, и только потом высчитывается F-мера.

Предшествующие TotalText'у наборы данных [[:Известные_наборы_данных|ICDAR]]'03<ref name="icdar03">[http://www.iapr-tc11.org/mediawiki/index.php/ICDAR_2003_Robust_Reading_Competitions S.M. Lucas et al, "ICDAR 2003 Robust Reading Competition"]</ref>, '11<ref name="icdar11">[http://www.cvc.uab.es/icdar2011competition/images/Report_RobustReading_Challenge1_final.pdf D. Karatzas, S. Robles Mestre, J. Mas, F. Nourbakhsh, P. Pratim Roy, "ICDAR 2011 Robust Reading Competition"]</ref>, '13<ref name="icdar13">[http://dagdata.cvc.uab.es/icdar2013competition/ D. Karatzas, F. Shafait, S. Uchida, M. Iwamura, L. Gomez, S. Robles, J. Mas, D. Fernandez, J. Almazan, L.P. de las Heras, "ICDAR 2013 Robust Reading Competition"]</ref> и MSRA-TD500<ref name="msra">[http://www.iapr-tc11.org/dataset/MSRA-TD500/Detecting_Texts_of_Arbitrary_Orientations_in_Natural_Images.pdf C. Yao, X. Bai, W. Liu, Y. Ma and Z. Tu, "Detecting Texts of Arbitrary Orientations in Natural Images"]</ref> сыграли значимую роль в начале исследований в области распознавания текста. У наборов данных [[:Известные_наборы_данных|ICDAR]]<ref name="icdar03"/><ref name="icdar11"/><ref name="icdar13"/><ref name="icdar15"/> тексты встречались в единственной ориентации {{---}} горизонтальной, и на этом предположении были основаны многие ранние модели. Границы текста они определяли как прямоугольник. Это ограничивало возможности распознавания, и для привлечения внимания исследователей к этой проблеме в 2012 году был представлен набор данныхMSRA-TD500<ref name="msra"/>, включавший в себя большое количество изображений с множественной ориентацией текста (от горизонтальной отличается тем, что область с текстом находится под наклоном или/и в перспективе). Модели были усовершенствованы, и теперь определяли границы как произвольных форм четырёхугольники. Текст же изогнутой формы, несмотря на частоту появления в реальном окружении, практически не появлялся в наборах данных (искл. [[:Известные_наборы_данных|COCO-text]]<ref name="coco">[https://arxiv.org/pdf/1601.07140.pdf A. Veit, T. Matera, L. Neumann, J. Matas, S. Belongie, "COCO-Text: Dataset and Benchmark for Text Detection and Recognition in Natural Images"]</ref> и CUTE80<ref name="cute">[http://cs-chan.com/doc/ESWA_2014A.pdf A. Risnumawan, P. Shivakumara, C.S. Chan and C.L. Tan, "A Robust Arbitrary Text Detection System for Natural Scene Images"]</ref>, но они не привлекли особого внимания к проблеме). Поэтому справиться с произвольной формой текста многие модели попросту не могли.

Для привлечения внимания к этой проблеме в 2017 году был представлен набор данных TotalText, состоящий из 1555 изображений с текстом различной ориентации и содержащий в целом 9330 слов. Отличительной особенностью TotalText является ''эталон'' области (или же границ) текста. Так, в [[:Известные_наборы_данных|COCO-Texttext]]<ref name="coco"/> эталоном области текста являлся горизонтально ориентированный прямоугольник, а вот в TotalText это был многоугольник, состоящий из множества полигонов. В качестве протокола оценки используется DetEval<ref name="deteval">[https://perso.liris.cnrs.fr/christian.wolf/software/deteval/ C. Wolf and J.-M. Jolion, “Object count/area graphs for the evaluation of object detection and segmentation algorithms” (2006)]</ref>.

Сейчас TotalText и SCUT-CTW1500 все реже используются как два независимых набора данных. Набор данных ArT<ref name="art">[https://arxiv.org/pdf/1909.07145.pdf "ICDAR2019 Robust Reading Challenge on Arbitrary-Shaped Text {{- --}} RRC-ArT"]</ref> объединил их в себе и стал самым большим набором данных изогнутого текста. Протоколом оценки является PASCAL VOC<ref name="pascvoc">[https://homepages.inf.ed.ac.uk/ckiw/postscript/ijcv_voc09.pdf M. Everingham, L. Van Gool, C. K. Williams, J. Winn, and A. Zisserman, "The pascal visual object classes (voc) challenge" (2010)]</ref> протокол, где используется метрика [[:Задача_нахождения_объектов_на_изображении|IoU]] (граничное значение для определения true или false positive {{---}} 0.5).

TextSnake отличается уникальным способом представления области с текстом (см. Рисунок 1). Математически, экземпляр текста <math>t</math>, состоящий из нескольких элементов, может быть представлен как упорядоченный список <math>S(t)</math>. <math>S(t) = \{D_0, D_1, ... , D_i , ... , D_n\}</math>, где <math>D_i</math> {{---}} это <math>i</math>-й диск, а <math>n</math> {{---}} количество дисков. Каждый диск <math>D</math> обладает набором геометрических свойств <math>(c, r, θ)</math>, где <math>c, r, θ</math> {{---}} это центр, радиус и ориентация диска <math>D</math> соответственно. Радиус <math>r</math> определён как половина от локальной высоты <math>t</math>, а ориентация <math>θ</math> {{---}} это тангенциальное направление центральной линии относительно центра <math>c</math>. Таким образом, текстовая область <math>t</math> может быть легко представлена с помощью вычисления объединения дисков в <math>S(t)</math>. Важно, что сами диски никак не связаны с символами, принадлежащими <math>t</math>. Такое представление <math>t</math> даёт возможность "выпрямить" текстовую область, что облегчит распознавание её содержимого.<br> Статья о модели доступна по [https://openaccess.thecvf.com/content_ECCV_2018/papers/Shangbang_Long_TextSnake_A_Flexible_ECCV_2018_paper.pdf ссылке]. Реализацию этой модели можно найти в [https://github.com/princewang1994/TextSnake.pytorch открытом доступе].

[[file:TextSnakeRepresentation.png|300px|left|thumb|Рисунок 1 {{---}} [https://openaccess.thecvf.com/content_ECCV_2018/papers/Shangbang_Long_TextSnake_A_Flexible_ECCV_2018_paper.pdf Как TextSnake представляет текст]]]

[[Файл:Ts pip.png|500px|right|thumb|Рисунок 2 {{---}} [https://openaccess.thecvf.com/content_ECCV_2018/papers/Shangbang_Long_TextSnake_A_Flexible_ECCV_2018_paper.pdf Схема работы TextSnake]]]Схема работы TextSnake представлена справа (см. Рисунок 2). TextSnake использует [[:Сверточные_нейронные_сети|свёрточную нейронную сеть]]. Чтобы определять текст произвольной формы, используется FCN (Fully Convolutional Network)<ref name="fcn">[https://arxiv.org/pdf/1411.4038.pdf Jonathan Long, Evan Shelhamer, Trevor Darrell, "Fully Convolutional Networks for Semantic Segmentation" (2015)]</ref> модель для предсказывания геометрических атрибутов текстовых областей. С помощью FCN<ref name="fcn"/> и FPN (Feature Pyramid Network)<ref name="fpn">[https://arxiv.org/pdf/1612.03144.pdf Lin, T.Y., Dollar, P., Girshick, R., He, K., Hariharan, B., Belongie, S., "Feature pyramid networks for object detection"]</ref> предсказываются вероятностные карты центральной линии (text center line, TCL) и текстовых областей (text regions, TR), вместе с геометрическими атрибутами <math>r, cosθ, sinθ</math>. Карта TCL в дальнейшем маскируется картой TR (TCL, по сути, является частью TR). Для сегментации используется непересекающийся набор, так как центральные линии не перекрывают друг друга. Далее извлекаются списки точек центральной оси и восстанавливаются экземпляры текста. Детальная архитектура представлена ниже (см. Рисунок 3):

[[file:TextSnakeArchitecture.png|500px|left|thumb|Рисунок 3 {{---}} [https://openaccess.thecvf.com/content_ECCV_2018/papers/Shangbang_Long_TextSnake_A_Flexible_ECCV_2018_paper.pdf Архитектура TextSnake]]]

Основной особенностью TextFuseNet является выделение бóльшего количества признаков и их слияние для более точного определения текстовых областей. TextFuseNet опирается на Mask R-CNN<ref name="rcnn"/> и Mask TextSpotter, рассматривая детекцию текста как задачу сегментации. Выделение признаков происходит на трёх уровнях: символьном, словесном и глобальном.<br>Статья о модели доступна по [https://www.ijcai.org/Proceedings/2020/0072.pdf ссылке]. Реализацию этой модели можно найти в [https://github.com/ying09/TextFuseNet открытом доступе].

[[file:tfn_arch.png|800px|left|thumb|Рисунок 4 {{---}} [https://www.ijcai.org/Proceedings/2020/0072.pdf Архитектура TextFuseNet]]]

Общая архитектура TextFuseNet представлена выше (см. Рисунок 4). Для получения глобального представления В качестве основы для FPN<ref name="fpn"/> используется семантическая сегментацияResNet50<ref name="resnet"/>, на этом этапе извлекаются общие признаки. Выходные данные используются RPN (Region Proposal Network)<ref name="rpn"/> и ветвью Semantic Segmentation. Далее, с помощью Mask R-CNNRPN<ref name="rcnnrpn"/> используется для генерации предполагаемых текстовых областей, что используется в ветвях последующих ветках Detection и Mask .*Сначала в ветви Semantic Segmentation с помощью сегментации определяются признаки на буквенном глобальном уровне.*Далее в ветви Detection, извлекаются признаки на словесном уровне и словесном уровняхобъединяются с признаками глобального уровня. Полученное представление используется для регрессии окружающей рамки и классификации объектов (текста/букв).*Потом в ветви Mask извлекаются признаки на символьном уровне. Все три уровня признаков (символьный, словесный и глобальный) объединяются, и полученное представление используется при сегментации экземпляров (instance segmentation) для объектов, полученных в ветви Detection. Для слияния уровней При объединении признаков используется модуль multiMulti-path fusion Path Fusion, общая схема работы которого представлена ниже (смРис. Рисунок 5), что позволяет TextFuseNet изучать более дифференцированное представление и выдавать более точные результаты детекции текста.:  

[[file:tfn_mpf.png|500px|left|thumb|Рисунок 5 {{---}} [https://www.ijcai.org/Proceedings/2020/0072.pdf Работа модуля multi-path fusion]]]

[[file:Pprnet text.png|800px|thumb|left|Рисунок 6 {{---}} [https://openaccess.thecvf.com/content/ACCV2020/papers/Shi_Accurate_Arbitrary-shaped_Scene_Text_Detection_via_Iterative_Polynomial_Parameter_Regression_ACCV_2020_paper.pdf Геометрическая модель текстовой области PolyPRNet]]]

На первой стадии используется ResNet50 (Residual Network)<ref name="resnet">[https://arxiv.org/pdf/1512.03385.pdf He, K., Zhang, X., Ren, S., Sun, J., "Deep residual learning for image recognition" (2016)]</ref> и FPN<ref name="fpn"/>, чтобы получить карты признаков из исходного изображения. Далее используется сеть RPN (Region Proposal Network) <ref name="rpn">[https://arxiv.org/pdf/1506.01497.pdf Ren, S., He, K., Girshick, R.B., Sun, J., "Faster R-CNN: towards real-time object detection with region proposal networks" (2015)]</ref> для формирования набора предложенных областей текста. На второй стадии используется модуль R-CNN<ref name="rcnn"/> с ветками регрессии границы (bounding box regression) и классификации, чтобы точнее локализовать предложенные области. Так же используется модуль Polynomialbased shape Parameter Regression (PPR), чтобы вывести форму и направление потенциального текстового кандидата.

[[file:Pprnet arch.png|800px|left|thumb|Рисунок 7 {{---}} [https://openaccess.thecvf.com/content/ACCV2020/papers/Shi_Accurate_Arbitrary-Shaped_Scene_Text_Detection_via_Iterative_Polynomial_Parameter_Regression_ACCV_2020_paper.pdf Архитектура PolyPRNet]]]

ESIR использует итеративное выпрямление изображения, которое исправляет искажения, связанные с перспективой и кривизной. Для этого с помощью полинома моделируется средняя линия текста с помощью полиномовтекстовой области. В дополнение, определяются направление и высота области текста на множестве сегментов линии. Среднюю линию с дополнительными параметрами назовём "повторяющей линией" (см. Рисунок 8).

[[Файл:Esir line.png|300px|thumb|left|Рисунок 8 {{---}} [https://arxiv.org/pdf/1812.05824.pdf "Повторяющая линия"]]]

[[file:Eris loc.png|300px|thumb|right|Рисунок 9 {{---}} [https://arxiv.org/pdf/1812.05824.pdf Сеть локализации]]]*Iterative Rectification Network (сеть итеративного выравнивания) (см. Рисунок 9). Сеть выравнивания итеративно регрессирует для просчёта параметров Сначала просчитываются параметры повторяющей линии, используя для чего используется сеть локализации вместе со свёртками изображений. После, как показано основываясь на полученных параметрах, изображение выравнивается, и снова передаётся в сеть выравнивания. Этот процесс повторяется до тех пор, пока не будет достигнуто заранее установленное количество итераций. На схеме ниже(см. Рисунок 9) представлена общая схема работы Iterative Rectification Network. Детальная структура сети локализации представлена в таблице (см. Рисунок 10).[[Файл:Esir arch.png|800px|thumb|left|Рисунок 10 {{---}} [https://arxiv.org/pdf/1812.05824.pdf Iterative Rectification Network]]]

*Recognition Network (сеть распознавания). Используется sequence-to-sequence модель с механизмом внимания. Система состоит из кодера и декодера. В кодировщик поступает выпрямленное изображение текста размером 32x100 пикселей. Используется 53-слойная остаточная сеть ResNet<ref name="resnet"/> для извлечения признаков, за остаточной сетью ResNet<ref name="resnet"/> следует два слоя BLSTMдвунаправленной [[:Долгая_краткосрочная_память|LSTM]]. Декодер использует LuongAttention механизм<ref name="luong">[https://arxiv.org/pdf/1508.04025.pdf Minh-Thang Luong, Hieu Pham, and Christopher D. Manning, состоящий из 2"Effective approaches to attention-слойных LSTM вниманияbased neural machine translation" (2015)]</ref> механизм. На этапе вывода используется beam search.

[[Файл:Moran morn.png|thumb|left|200px|Рисунок 11 {{---}} [https://arxiv.org/pdf/1901.03003.pdf Схема выпрямления]]]Текст на изображениях часто оказывается не просто изогнут, а деформирован разными способами и в нескольких направлениях (например, изогнутый текст + перспектива). Это учитывалось при разработке выпрямляющего модуля MORAN, что и является отличительной особенностью этой модели (см. Рисунок 11).<br>Статья о модели доступна по [https://arxiv.org/pdf/1901.03003.pdf ссылке]. Реализацию этой модели можно найти в [https://github.com/sdll/moran открытом доступе].

[[Файл:Moran arch.png|600px|thumb|right|Рисунок 12 {{---}} [https://arxiv.org/pdf/1901.03003.pdf Архитектура всей модели MORAN]]]

[[Файл:Moran morn arch.png|250px|thumb|left|Рисунок 13 {{---}} [https://arxiv.org/pdf/1901.03003.pdf Архитектура MORN]]]

*ASRN отвечает за распознавание. Архитектура ASRN представлена в таблице ниже (см. Рисунок 14). Основной структурой ASRN является фреймворк CNN-BLSTM(архитектура, в которой используется [[:Сверточные_нейронные_сети|CNN]] для извлечения признаков и двунаправленная [[:Долгая_краткосрочная_память|LSTM]] для предсказания последовательностей)<ref name="cnnblstm">[https://arxiv.org/pdf/1411.4389.pdf J. Donahue, L. A. Hendricks, M. Rohrbach, S. Venugopalan, S. Guadarrama, K. Saenko, T. Darrell "Long-term Recurrent Convolutional Networks for Visual Recognition and Description" (2016)]</ref>. В верхних слоях CRNN <ref name="crnn">[https://ieeexplore.ieee.org/document/7801919 B. Shi, X. Bai, and C. Yao, "An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition" (2017)]</ref> применяется одномерный механизм внимания. Далее используется attention-based декодер (GRU)<ref name="gru">[https://arxiv.org/pdf/1406.1078.pdf K. Cho, B. van Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio, "Learning phrase representations using RNN encoderdecoder for statistical machine translation" (2014)]</ref>, основанный на [[:Рекуррентные_нейронные_сети|RNN]].[[Файл:Moran asrn arch.png|250px|thumb|left|Рисунок 14 {{---}} [https://arxiv.org/pdf/1901.03003.pdf Архитектура ASRN]]]

Mask TextSpotter является одной из первых E2E моделей, тренированных на наборе данных TotalText. Она не была призвана распознавать именно изогнутый текст, но отличительной чертой модели Mask TextSpotter являлось как раз то, что она сравнительно неплохо с ним справлялась. Разработчики Mask TextSpotter применили недавно опубликованную нейронную сеть с архитектурой Mask R-CNN<ref name="rcnn"/> для выделения контуров объектов на изображении, которая и позволила сделать шаг вперед в распознавании изогнутого текста.<br>Статья о модели доступна по [https://openaccess.thecvf.com/content_ECCV_2018/papers/Pengyuan_Lyu_Mask_TextSpotter_An_ECCV_2018_paper.pdf ссылке]. Реализацию этой модели можно найти в [https://github.com/MhLiao/MaskTextSpotter открытом доступе].

Затем над изображением работает RPN <ref name="rpn"/> нейронная сеть, которая выполняет базовый поиск областей текста на изображении. RPN <ref name="rpn"/> может выявлять символы разных форм и размеров. Уже размеченный текст более детально обрабатывается Fast R-CNN<ref name="rcnn"/> нейронной сетью. Её задачи принципиально ничем не отличаются от задач RPN<ref name="rpn"/>, Fast R-CNN<ref name="rcnn"/> лишь доводит дело до конца. Завершает работу этап детекции по маске. Сначала он разбивает полученные области текста на слова, а затем внутри слов распознает отдельные символы. На этом этапе можно настраивать локализацию. Затем данные проходят небольшой пост-процессинг перед достижением итогового результата. Примерная визуализация архитектуры представлена ниже (см. Рисунок 15).

[[file:ArchitectureMaskTextSpotter.png|800px|left|thumb|Рисунок 15 {{---}} [https://openaccess.thecvf.com/content_ECCV_2018/papers/Pengyuan_Lyu_Mask_TextSpotter_An_ECCV_2018_paper.pdf Архитектура Mask TextSpotter]]]

CRAFTS {{---}} это полноценный end-to-end фреймворк, способный не только к детекции, но и к распознаванию. Его часть, отвечающая за детекцию, показывает наилучшие результаты, так же, как и часть, отвечающая за распознавание без словаря.<br>Статья о модели доступна по [https://arxiv.org/pdf/2007.09629.pdf ссылке]. Реализацию этой модели можно найти в [https://github.com/clovaai/CRAFT-pytorch открытом доступе].

[[file:CraftsArchitectureFull.png|800px|thumb|left|Рисунок 16 {{---}} [https://arxiv.org/pdf/2007.09629.pdf Архитектура CRAFTS]]]

[[file:CraftsArchitecture2.png|800px|thumb|left|Рисунок 17 {{---}} [https://arxiv.org/pdf/2007.09629.pdf Подробная схема работы слоя детекции]]]

[[file:CraftsLossFlow.png|800px|thumb|left|Рисунок 18 {{---}} [https://arxiv.org/pdf/2007.09629.pdf Диаграмма распространения ошибки в CRAFTS]]]

[[file:CraftsRecognition.png|400px|thumb|left|Рисунок 19 {{---}} [https://arxiv.org/pdf/2007.09629.pdf Архитектура слоя распознавания]]]

[[Файл:Tperc sch.png|500px|thumb|left|Рисунок 20 {{---}} [https://arxiv.org/pdf/2002.06820.pdf Схема работы TextPerceptron]]]

[[file:Tperc arch.png|800px|left|thumb|Рисунок 21 {{---}} [https://arxiv.org/pdf/2002.06820.pdf Архитектура TextPerceptron]]]

[[Файл:Bound stgs.png|500px|thumb|right|Рисунок 22 {{---}} [https://arxiv.org/pdf/1911.09550.pdf Стадии работы Boundary]]]

[[Файл:Bound arch.png|800px|thumb|right|Рисунок 23 {{---}} [https://arxiv.org/pdf/1911.09550.pdf Архитектура Boundary]]]

Boundary состоит из трёх частей: определение ориентированной "коробки" текста, определение граничных точек и распознавание текста (см. Рисунок 23). Сначала строится карта признаков с помощью ResNet50<ref name="resnet"/> и FPN<ref name="fpn"/>. После используется RPN <ref name="rpn"/> чтобы сгенерировать предполагаемые горизонтально-ориентированные области. После этого для каждой области генерируется ориентированная "коробка" через предсказывание её центральной точки, высоты, ширины и направления. Далее для каждой ориентированной коробки ищутся граничные точки, для чего используется Boundary Point Detection Network (BPDN). Опираясь на полученные граничные точки, предполагаемые области выравнивают, после чего для распознавания текста используется CRNN<ref name="crnn"/>.

[[file:WorkflowOfMANGO.png|800px|left|thumb|Рисунок 24 {{---}} [https://arxiv.org/pdf/2012.04350.pdf Архитектура MANGO]]]

|+ Сводная таблица точности по результатам Общие результаты детекции на наборе данных TotalTextTotal-Text

|+ Сводная таблица Общие результаты E2E моделей для распознавания|-! Модель !! F-мера на наборе ICDAR'15<ref name="icdar15"/> !! F-мера на наборе данных CUTE80<ref name="cute"/>|Total-| style="background:#eaecf0;" | '''ESIR''' || 76.9 || 83.3|-| style="background:#eaecf0;" | '''MORAN''' || 68.8 || 77.4|-|}  {| class="wikitable"|+ Сводная таблица точности E2E моделей на наборе данных TotalTextText