Изменения

[[Файл:Dividing Cell Fluorescence-ru.jpg|left|300px|thumb|Пример клетки с различными флуоресцентными маркерами. [https://pubmed.ncbi.nlm.nih.gov/30865716/ статьи.]]]

Классификация клеток является базовой задачей микроскопии. Обычно для этого используются изображения, полученные на флуоресцентных микроскопах, так как классификаторы для изображений с обычных оптических микроскопов не способны отразить биологическое разнообразие различных типов клеток. Клетки можно делить по фазе в клеточном цикле, типу (повержденные или нет, раковые или нормальные), физиологическому состоянию, виду и другим признакам. Для большинства задач классификации уже существуют готовые архитектуры сверточных сетей.

=== Определение фазы клеточного цикла ===

Одним из признаков, по которым можно разделить клетки, является определение фазы клеточного цикла, в которой находится клетка. Эта задача имеет практическое применение для обнаружения поврежденных клеток, которые при визуализации будут кластеризоваться отдельно от остальных. Сверточная сеть обучается на изображениях с флуоресцентными метками, о которых было сказано ранее, и дает на выходе не только классификацию каждой клетки, а также визуализирует процесс клеточного цикла, используя нелинейное уменьшение размерности. Классификация и визуализация являются всего лишь различными способами интерпретации результатов, поэтому строятся на основе одних и тех же выведенных закономерностей.

[[Файл:Cell cycle classification.png|right|700px|thumb|Архитектура сверточной нейронной сети для определения фазы клетки из [https://www.nature.com/articles/s41467-017-00623-3#supplementary-information/ статьи.]]]

Особенностью работы данной сверточной сети является необходимость разметить только небольшую часть данных, на основании чего она далее учится размечать самостоятельно. Интересно, что при визуализации фазы становятся упорядочены в хронологически правильном порядке, несмотря на то, что информация о порядке фаз не передавалась в сеть напрямую. Это говорит об эффективности использования флуорисцентных меток в качестве категориальных<ref>[https://www.nature.com/articles/s41467-017-00623-3#supplementary-information Philipp Eulenberg — Reconstructing cell cycle and disease progression using deep learning, 2017]</ref>.

=== Идентификация раковых клеток ===

[[Файл:microscopy_cnn.png|right|400px|thumb|Архитектура сверточной нейронной сети для классификации раковых клеток из [https://pubmed.ncbi.nlm.nih.gov/30865716/ статьи.]]]

Особенностью при обучении сетки является использование из-за недостаточного объема данных трансферного обучения, то есть модель предварительно обучается на другом огромном объеме данных. В данном случае первые 14 слоев сначала обучаются на наборе данных классификации ImageNet, а потом уже происходит обучение для классификации раковых и нормальных клеток. Такая сверточная сеть лучше справляется с задачей классификации клеток по сравнению с экспертом-человеком, особенно на изображениях с недостаточно хорошим качеством<ref>[https://pubmed.ncbi.nlm.nih.gov/30865716/ Ronald Wihal Oei {{---}} Convolutional neural network for cell classification using microscope images of intracellular actin networks, 2019]</ref>.

=== Классификация лейкоцитов ===

[[Файл:Vggnet sessa.jpg|left|400px|thumb|Блок-схема подхода к классификации лейкоцитов.]]

Для решения задачи используется сеть VGGNet, похожая на ту, что идентифицирует раковые клетки, и так же транзитное обучение. Отличительной деталью является использования статистического алгоритма оптимизации под названием SESSA для выбора наиболее важных функций, извлеченных с помощью VGGNet, и удаления сильно коррелированных и шумных. Такая оптимизация позволяет сократить время обучения, повысить точность и избавиться от переобучения. Результаты этого гибридного подхода к классификации являются самыми эффективными среди всех известных опубликованных работ по тому же набору данных.

== Сегментация изображений ==

Задача [[Сегментация изображений|сегментации изображений]], полученных с микроскопа, состоит в том, чтобы аннотировать их, то есть отмечать границы объектов (клеток, ядер). Имея сегментированное изображение, легче проводить дальнейший анализ и изучать конкретные части клетки.

[[Файл:DRAN.jpeg|250px|left|thumb|Архитектура сети DRAN для сегментации ядер.]]

=== Сеть U-Net ===

Для решения задачи сегментации обычно используется модифицированная полносвязная сверточная сеть U-Net<ref>[https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/ Olaf Ronneberger— Reconstructing cell cycle and disease progression using deep learning, 2015]</ref>. Сеть U-Net получила широкое распространение благодаря способности последовательно распознавать как большие, так и мелкие частицы, а также устойчивости к различным условиям визуализации и наборам данных. Также она показывает хорошие результаты даже если размер набора даных для обучения небольшой, что является частой проблемой анализа изображений, полученных с микроскопа. Однако минусом сети U-Net является ограничение на размер входного изображения, в то время как разрешение микроскопических изображений только растет с течением времени.

=== Сегментация ядер клеток ===

Сеть U-Net хоть и является универсальной, но для решения некоторых задач удобнее использовать более специализированные сети. Для задачи точной сегментации ядер клеток строится сеть глубокой остаточной агрегации DRAN. Она имеет типичную для сегментирующих сетей архитектуру и состоит из нескольких слоев, понижающих степень дискретизации данных, затем нескольких расширяющих слоев с тремя декодерами.

Особенностью данных микроскопии является разный масштаб ядер на изображениях, поэтому в сеть подаются не только исходные изображения, а еще и уменьшенные и увеличенные в 2 раза. Такой подход частично решает проблему влияния существенно различающегося масштаба и получил название многомасштабной сети глубокой остаточной агрегации MDRAN.

== Улучшение качества изображений ==

[[Файл:Autofocus cnn.png|right|450px|thumb|(a) Архитектура сверточной нейронной сети для предсказывания положения фокуса микроскопа из [https://www.nature.com/articles/s41598-018-25458-w/ статьи].

(b) Примеры изображений с разным фокусным расстоянием.]]

Зачастую изображения, полученные с помощью микроскопии, не имеют достаточно хорошее для дальнейшей работы качество. Сверточные сети, которые улучшают качество уже имеющихся снимков, не имеют отличий, связанных со специфичностью изображений.

Такая сверточная сеть показывает большую точность, чем группа людей-экспертов. По сравнению с другими подходами к автофокусировке, сеть не требует физической калибровки и устойчива к шуму, оптическим артефактам и особенностям, отличным от ячеек<ref>[https://www.nature.com/articles/s41598-018-25458-w/ Ling Wei— Reconstructing cell cycle and disease progression using deep learning, 2018]</ref>.

== Детекция клеток ==

Во многих биологических экспериментах необходимо уметь детектировать клетки, за которыми ведется наблюдение, понимать сколько их, как они расположены относительно друг друга. Для решения этих задач в компьютерном зрении используется несколько разных подходов. Одни используют сверточные сети, чтобы предсказывать карту плотности, другие основаны на построении деревьев максимально устойчивых экстремальных областей. Вне зависимости от реализации, методы детекции клеток направлены на оценку количетсва клеток и учитывают перекрывания, неравномерность распредления клеток и другие факторы, специфичные для микроскопических изображений.

=== Подсчет клеток на основе сверточных сетей ===

[[Файл:FCRN-A_and_FCRN_B.png|425px|thumb|right|Архитекутры сетей FCRN-A и FCRN-B для построения карт плотности.]]

Такой подход позволяет проводить непрерывное обучение с изображениями произвольных размеров, что важно в том числе для покадровой съемке и изучением длительных процесоов. Он также обеспечивает интуитивное понимание представлений функций из FCRN, визуализируя, в какой степени информация была закодирована на разных уровнях.

=== Обнаружение перекрывающихся объектов на основе деревьев экстремальных областей ===

[[Файл:Extremal Region Trees.png|left|250px|thumb|Получающаяся древовидная структура из [http://sites.skoltech.ru/app/data/uploads/sites/25/2014/11/MIA15.pdf статьи]]]

Нужно также отметить, что вывод модели эффективен с точки зрения вычислений и требует всего нескольких сотен оценок классификатора, за которыми следует динамическое программирование на поддеревьях.

== Склеивание изображений ==

Не всегда изучаемый объект полностью помещается на один снимок микроскопа. В связи с этим стоит задача склеивания изображений для дальнейшего исследования целых клеточных культур, используя различные методы визуализации. Эту задачу может решить MIST (англ. Microscopy Image Stitching Tool) {{---}} программа для быстрого и точного склеивания больших двумерных сеток перекрывающихся изображений покадровых снимков микроскопа. В основе работы MIST лежит оценка параметров модели на основе вычисленных попарных перемещений, а затем минимизация ошибок склеивания путем оптимизации перемещений в пределах квадратной области.

Необходимо помнить, что MIST был разработан для склеивания микроскопических изображений, полученных с помощью механического предметного столика, который перемещает образец по повторяющейся сетке, что накладывает ограничение на его использование.

= См. также =

#[[ Компьютерное зрение ]]