Изменения

Классификация клеток является базовой задачей микроскопии. Обычно для этого используются изображения, полученные на флуоресцентных микроскопах(рисунок 1), так как классификаторы для изображений с обычных оптических микроскопов не способны отразить биологическое разнообразие различных типов клеток. Клетки можно делить по фазе в клеточном цикле, типу (повержденные или нет, раковые или нормальные), физиологическому состоянию, виду и другим признакам. Для большинства задач классификации уже существуют готовые архитектуры сверточных сетей<ref>[https://uu.diva-portal.org/smash/get/diva2:1334417/FULLTEXT01.pdf Håkan Öhrn {{---}} General image classifier for fluorescence microscopy using transfer learning , 2019]</ref><ref name="phase">[https://www.nature.com/articles/s41467-017-00623-3#supplementary-information Philipp Eulenberg {{---}} Reconstructing cell cycle and disease progression using deep learning, 2017]</ref><ref name="cancer">[https://pubmed.ncbi.nlm.nih.gov/30865716/ Ronald Wihal Oei {{---}} Convolutional neural network for cell classification using microscope images of intracellular actin networks, 2019]</ref><ref name="blood">[https://www.nature.com/articles/s41598-020-59215-9 Ahmed T. Sahlol {{---}} Efficient Classification of White Blood Cell Leukemia with Improved Swarm Optimization of Deep Features, 2020]</ref><ref>[https://www.biorxiv.org/content/10.1101/817544v1.full Samuel Berryman {{---}} Image-based Cell Phenotyping Using Deep Learning, 2019]</ref><ref>[http://www.mva-org.jp/Proceedings/2017USB/papers/06-01.pdf Nan Meng {{---}} Computational single-cell classification using deep learning on bright-field and phase images, 2017]</ref><ref>[https://arxiv.org/pdf/1806.01313.pdf Sachin Mehta {{---}} Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images, 2018]</ref>.

Сеть U-Net хоть и является универсальной, но для решения некоторых задач удобнее использовать более специализированные сети. Для задачи точной сегментации ядер клеток строится сеть глубокой остаточной агрегации (англ. Deep Residual Aggregation Network, DRAN)<ref name="dran"/>. Она имеет типичную для сегментирующих сетей архитектуру , представленную на рисунке 5, и состоит из нескольких слоев, понижающих степень дискретизации данных, затем нескольких расширяющих слоев с тремя декодерами.

Особенностью данных микроскопии является разный масштаб ядер на изображениях, поэтому в сеть подаются не только исходные изображения, а еще и уменьшенные и увеличенные в 2 раза. Такой подход частично решает проблему влияния существенно различающегося масштаба и получил название многомасштабной сети глубокой остаточной агрегации (англ. Multiscale Deep Residual Aggregation Network, MDRAN)<ref name="dran"/>.

[[Файл:FCRN-A_and_FCRN_B.png|425px|thumb|right|Рисунок 6. Архитекутры полносверточных регрессионных сетей FCRN-A и FCRN-B для построения карт плотности<refname="fcrn">[https://www.robots.ox.ac.uk/~vgg/publications/2016/Xie16/xie16.pdf Weidi Xie {{---}} Microscopy cell counting and detection with fully convolutional regression networks, 2016]</ref>.]]

Особенностью изображений микроскопии является то, что клетки в большинстве случаев имеют размер значительно меньший, чем размер изображения, то есть нет необходимости использовать сложные глубокие сети, которые способны выучить высоко семантическую информацию. Поэтому используются полносверточные регрессионные сети с архитектурой FCRN-A или (англ. Fully Convolutional Regression Networks, FCRN-B)<ref name="fcrn"/>. Различия в архитектурах состоят в размерах ядер и количестве слоев(рисунок 6). Такие сети на выходе дают карту плотности клеток.

[[Файл:Extremal Region Trees.png|left|250px|thumb|Рисунок 7. Получающаяся древовидная структура<refname="tree">[http://sites.skoltech.ru/app/data/uploads/sites/25/2014/11/MIA15.pdf Carlos Arteta {{---}} Detecting Overlapping Instances in Microscopy Images Using Extremal Region Trees, 2016]</ref>.]]

Чтобы учесть все особенности изображения используется метод, основанный на древовидной дискретной графической модели, которая позволяет выбрать и промаркировать набор непересекающихся участков изображения с помощью глобальной оптимизации<ref name="tree"/>. Каждый регион маркируется в соответствии с количеством объектов, которые он содержит. В условиях низкой плотности объектов метод, как правило, находит и выделяет отдельные клетки, а в местах, где клетки перекрываются, предложенный метод выделяет группы клеток(рисунок 7). Подобное адаптивное поведение, управляемое оптимизационным процессом, является уникальным для данного метода.

Не всегда изучаемый объект полностью помещается на один снимок микроскопа. В связи с этим стоит задача склеивания изображений для дальнейшего исследования целых клеточных культур, используя различные методы визуализации. Эту задачу может решить MIST инструмент для сшивания изображений микроскопии (англ. Microscopy Image Stitching Tool, MIST) <ref>[https://ieeexplore.ieee.org/document/7359951 Joe Chalfoun {{---}} программа MIST: Microscopy Image Stitching Tool, 2015]</ref>. Программа предназначена для быстрого и точного склеивания больших двумерных сеток перекрывающихся изображений покадровых снимков микроскопа. В основе работы MIST лежит оценка параметров модели на основе вычисленных попарных перемещений, а затем минимизация ошибок склеивания путем оптимизации перемещений в пределах квадратной области. [[Файл:MIST.jpg|left|400px450px|thumb|Рисунок 8. Примеры изображений, склеенных с помощью MIST<refname="mist">[https://www.nature.com/articles/s41598-017-04567-y Joe Chalfoun {{---}} MIST: Accurate and Scalable Microscopy Image Stitching Tool with Stage Modeling and Error Minimization, 2017]</ref>.]]Алгоритм MIST состоит из четырех шагов<ref name="mist"/>. Сначала вычисляются всевозможные перемещения между соседними покадровыми изображениями. После чего, если параметры модели не указаны пользователем, оценивается модель механического предметного столика на основе вычисленных перемещений. Затем оптимизируются перемещения между изображениями для уменьшения ошибок склеивания и составляется полученное изображение(рисунок 8).

Необходимо помнить, что MIST был разработан для склеивания микроскопических изображений, полученных с помощью механического предметного столика, который перемещает образец по повторяющейся сетке, так что это накладывает ограничение на его использование.

[[Файл:Autofocus cnn.png|leftright|400px|thumb|Рисунок 9. (a) Архитектура сверточной нейронной сети для предсказывания предсказания положения фокуса микроскопа.(b) Примеры изображений с разным фокусным расстоянием<refname="focus">[https://www.nature.com/articles/s41598-018-25458-w/ Ling Wei {{---}} Reconstructing cell cycle and disease progression using deep learning, 2018]</ref>.]]

=== Предсказывание Предсказание положения фокуса ===При покадровой съемке длительного непрерывного процесса необходимо постоянно следить за положением фокуса микроскопа, чтобы не получать размытые изображения. Процесс выставления фокуса можно автоматизировать, построив сеть, которая будет предсказывать нужное положение. Эту задачу можно свести к задаче классификации изображений по фокусному расстоянию во время съемки. Для ее решения используется сверточная сеть(рисунок 9), которая состоит из двух блоков свертки и двух полносвязных блоков для классификации<ref name="focus"/>.

[[Файл:3d restoration net.jpeg|right|400px|thumb|Рисунок 10. Схема работы архитектуры ScatNet<refname="scatnet">[https://www.osapublishing.org/oe/fulltext.cfm?uri=oe-28-20-30234&id=439993 Le Xiao {{---}} Deep learning-enabled efficient image restoration for 3D microscopy of turbid biological specimens, 2020]</ref>.]]Трехмерная флуоресцентная микроскопия является важным инструментом для современных исследований, но ее более широкому применению препятствует рассеяние света биологическими образцами. В основе подхода, который способен восстановить размытое и рассеянное светом трехмерное изображение глубоких тканей, лежит сеть ScatNet<ref>[https://www.di.ens.fr/data/software/scatnet/ ScatNet: homepage of the project]</ref>.

В течение каждой эпохи обучения ScatNet учится, как лучше восстанавливать высококачественные изображения из размытых входных данных. Сгенерированный промежуточный результат для каждой эпохи сравнивается с данными фиксированной метки для оптимизации функции потерь сети<ref name="scatnet"/>. Сверточная сеть Более детальная схема работы представлена на рисунке 10. ScatNet способствует простому и быстрому восстановлению изображений и не требует трудоемких ручных операций.