Изменения

[[Компьютерное зрение |Компьютерное зрение]] помогает автоматизировать обработку изображений, полученных с помощью микроскопии. С его появлением стало возможным эффективно и с хорошей точностью классифицировать клетки, сегментировать полученные изображения, улучшать их качество и решать другие задачи без участия человека<ref>[https://core.ac.uk/download/pdf/81981016.pdf Gaudenz Danuser {{---}} Computer Vision in Cell Biology, 2011]</ref>.

На данный момент компьютерное зрение нашло применение в большинстве направлений, где есть необходимость обрабатывать и анализировать изображения. Микроскопия не стала исключением. Теперь задачи, направленные непосредственно на работу с изображениями, можно решить используя методы [[Глубокое обучение|глубокого обучения]], например, построить подходящую [[Сверточные нейронные сети |сверточную нейронную сеть]]<ref>[https://www.researchgate.net/publication/221786123_Computer_Vision_for_Microscopy_Applications Nikita V Orlov {{---}} Computer Vision for Microscopy Applications, 2007]</ref>.

[[Файл:Dividing Cell Fluorescence-ru.jpg|left|300px|thumb|Рисунок 1. Пример клетки с различными флуоресцентными маркерами. <ref>[https://pubmed.ncbiru.nlmwikipedia.nih.govorg/wiki/30865716%D0%A4%D0%BB%D1%83%D0%BE%D1%80%D0%B5%D1%81%D1%86%D0%B5%D0%BD%D1%86%D0%B8%D1%8F_%D0%B2_%D0%B1%D0%B8%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D1%85_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%D1%85 Википедия: Флуоресценция в биологических исследованиях]</ статьиref>.]]]Классификация клеток является базовой задачей микроскопии. Обычно для этого используются изображения, полученные на флуоресцентных микроскопах(рисунок 1), так как классификаторы для изображений с обычных оптических микроскопов не способны отразить биологическое разнообразие различных типов клеток. Клетки можно делить по фазе в клеточном цикле, типу (повержденные или нет, раковые или нормальные), физиологическому состоянию, виду и другим признакам. Для большинства задач классификации уже существуют готовые архитектуры сверточных сетей<ref>[https://uu.diva-portal.org/smash/get/diva2:1334417/FULLTEXT01.pdf Håkan Öhrn {{---}} General image classifier for fluorescence microscopy using transfer learning , использующие флуоресцентные метки в качестве категориальных2019]</ref><ref name="phase">[https://www.nature.com/articles/s41467-017-00623-3#supplementary-information Philipp Eulenberg {{---}} Reconstructing cell cycle and disease progression using deep learning, 2017]</ref><ref name="cancer">[https://pubmed.ncbi.nlm.nih.gov/30865716/ Ronald Wihal Oei {{---}} Convolutional neural network for cell classification using microscope images of intracellular actin networks, 2019]</ref><ref name="blood">[https://www.nature.com/articles/s41598-020-59215-9 Ahmed T. Sahlol {{---}} Efficient Classification of White Blood Cell Leukemia with Improved Swarm Optimization of Deep Features, 2020]</ref><ref>[https://www.biorxiv.org/content/10.1101/817544v1.full Samuel Berryman {{---}} Image-based Cell Phenotyping Using Deep Learning, 2019]</ref><ref>[http://www.mva-org.jp/Proceedings/2017USB/papers/06-01.pdf Nan Meng {{---}} Computational single-cell classification using deep learning on bright-field and phase images, 2017]</ref><ref>[https://arxiv.org/pdf/1806.01313.pdf Sachin Mehta {{---}} Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images, 2018]</ref>.

Одним из признаков, по которым можно разделить клетки, является определение фазы клеточного цикла, в которой находится клетка. Эта задача имеет практическое применение для обнаружения поврежденных клеток, которые при визуализации будут кластеризоваться отдельно от остальных. Сверточная сеть для решения задачи изображена на рисунке 2. Она обучается на изображениях с флуоресцентными метками, о которых было сказано ранее, и дает на выходе не только классификацию каждой клетки, а также визуализирует процесс клеточного цикла, используя нелинейное уменьшение размерности<ref name="phase"/>. Классификация и визуализация являются всего лишь различными способами интерпретации результатов, поэтому строятся на основе одних и тех же выведенных закономерностей. [[Файл:Cell cycle classification.png|right|700px|thumb|Рисунок 2. Архитектура сверточной нейронной сети для определения фазы клетки из [https:<ref name="phase"//www.nature.com/articles/s41467-017-00623-3#supplementary-information/ статьи>.]]]Особенностью работы данной описанной сверточной сети является необходимость разметить только небольшую часть данных, на основании чего она далее учится размечать самостоятельно. Интересно, что при визуализации фазы становятся упорядочены в хронологически правильном порядке, несмотря на то, что информация о порядке фаз не передавалась в сеть напрямую. Это говорит об эффективности использования флуорисцентных флуоресцентных меток в качестве категориальных<ref>[https://www.nature.com/articles/s41467-017-00623-3#supplementary-information Philipp Eulenberg — Reconstructing cell cycle and disease progression using deep learning, 2017]</ref>.

[[Файл:microscopy_cnn.png|right|400px|thumb|Рисунок 3. Архитектура сверточной нейронной сети для классификации раковых клеток из [https:/<ref name="cancer"/pubmed>.ncbi.nlm.nih.gov/30865716/ статьи.]]]Другой задачей классификации является обнаружение раковых клеток. Для ее решения используется сверточная нейронная сеть с архитектурой , изображенная на рисунке 3. Она имеет архитектуру VGG-16, в которой дополнительно после каждой функции активации добавлена [[Batch-normalization|пакетная нормализация]] для регуляризации<ref name="cancer"/>. Сеть, как и остальные классификаторы изображений микроскопии, принимает на вход изображения с флуоресцентными метками.

Особенностью при обучении сетки представленной сети является использование из-за недостаточного объема данных [[Глубокое обучение|трансферного обучения]], то есть модель предварительно обучается на другом огромном объеме данных. В данном случае первые 14 слоев сначала обучаются на наборе данных классификации ImageNet, а потом уже происходит обучение для классификации раковых и нормальных клеток. Такая сверточная сеть лучше справляется с задачей классификации клеток по сравнению с экспертом-человеком, особенно на изображениях с недостаточно хорошим качеством<ref>[https://pubmed.ncbi.nlm.nih.gov/30865716/ Ronald Wihal Oei {{---}} Convolutional neural network for cell classification using microscope images of intracellular actin networks, 2019]</ref>.

== Сегментация изображений =Классификация лейкоцитов ===[[Файл:Vggnet sessa.jpg|left|400px|thumb|Рисунок 4. Блок-схема подхода к классификации лейкоцитов<ref name="blood"/>.]]Задача сегментации Эта задача отличается от предыдущих тем, что не требует предварительной обработки материалов и использования флуоресцентного микроскопа, для ее решения достаточно изображений, полученных с оптического микроскопа. Лейкоциты важно уметь классифицировать, состоит потому что они играют значительную роль в том, чтобы аннотировать их, то есть отмечать границы объектов организме человека (клетокиногда в крови могут образоваться злокачественные лейкоциты, ядеркоторые способны вызывать лейкемию). Для решения этой задачи обычно используется модифицированная полносвязная сверточная сеть U-Net<ref>[https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/ Olaf Ronneberger— Reconstructing cell cycle and disease progression using deep learningАвтоматическая классификация лейкоцитов может помочь специалистам в лабораториях, 2015]</ref>где нет достаточного количества квалифицированных сотрудников для проведения анализа крови.

Сеть U-Net получила широкое распространение благодаря способности последовательно распознавать как большиеДля решения задачи используется сеть VGGNet, похожая на ту, что идентифицирует раковые клетки, и так же [[Глубокое обучение|трансферное обучение]]. Отличительной деталью является использования для оптимизации статистически усиленного алгоритма сальпового роя (англ. Statistically Enhanced Salp Swarm Algorithm, SESSA)<ref name="blood"/> для выбора наиболее важных функций, извлеченных с помощью сети VGGNet, и удаления сильно коррелированных и мелкие частицышумных функций. Общая структура алгоритма представлена на рисунке 4. Такая оптимизация позволяет сократить время обучения, а также устойчивости повысить точность и избавиться от переобучения. Результаты этого гибридного подхода к различным условиям визуализации и наборам классификации являются самыми эффективными среди всех известных опубликованных работ по тому же набору данных.

== Улучшение качества Сегментация изображений ==Задача [[Сегментация изображений|сегментации изображений]], полученных с микроскопа, состоит в том, чтобы аннотировать их, то есть отмечать границы объектов (клеток, ядер). Имея сегментированное изображение, легче проводить дальнейший анализ и изучать конкретные части клетки<ref>[https://www.nature.com/articles/s41524-020-00363-x James P. Horwath {{---}} Understanding important features of deep learning models for segmentation of high-resolution transmission electron microscopy images, 2020]</ref>.[[Файл:Autofocus cnnDRAN.pngjpeg|right250px|450pxleft|thumb|(a) Рисунок 5. Архитектура сверточной нейронной сети DRAN для предсказывания положения фокуса микроскопа из сегментации ядер<ref name="dran">[https://www.naturefrontiersin.comorg/articles/s4159810.3389/fbioe.2019.00053/full Quoc Dang Vu {{-018-25458-w}} Methods for Segmentation and Classification of Digital Microscopy Tissue Images, 2019]</ статьиref>.]]=== Сеть U-Net ===Для решения задачи сегментации обычно используется модифицированная полносвязная сверточная сеть U-Net<ref>[https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/ Olaf Ronneberger— Reconstructing cell cycle and disease progression using deep learning, 2015]</ref>. Сеть U-Net получила широкое распространение благодаря способности последовательно распознавать как большие, так и мелкие частицы, а также устойчивости к различным условиям визуализации и наборам данных. Также она показывает хорошие результаты, даже если размер набора даных для обучения небольшой, что является частой проблемой анализа изображений, полученных с микроскопа. Однако минусом сети U-Net является ограничение на размер входного изображения, в то время как разрешение микроскопических изображений только растет с течением времени.

=== Сегментация ядер клеток === Сеть U-Net хоть и является универсальной, но для решения некоторых задач удобнее использовать более специализированные сети. Для задачи точной сегментации ядер клеток строится сеть глубокой остаточной агрегации (bангл. Deep Residual Aggregation Network, DRAN) Примеры изображений с разным фокусным расстоянием<ref name="dran"/>.]]Зачастую изображения, полученные с помощью микроскопииОна имеет типичную для сегментирующих сетей архитектуру, не имеют достаточно хорошее для дальнейшей работы качество. Сверточные сетипредставленную на рисунке 5, которые улучшают качество уже имеющихся снимкови состоит из нескольких слоев, не имеют отличийпонижающих степень дискретизации данных, связанных со специфичностью изображенийзатем нескольких расширяющих слоев с тремя декодерами.

Гораздо более интересная задача компьютерного зрения состоит Особенностью данных микроскопии является разный масштаб ядер на изображениях, поэтому в том, чтобы сразу получать более четкие изображения. При покадровой съемке длительного непрерывного процесса необходимо постоянно следить за положением фокуса микроскопа, чтобы сеть подаются не получать размытые только исходные изображения. Процесс выставления фокуса можно автоматизировать, построив сеть, которая будет предсказывать нужное положениеа еще и уменьшенные и увеличенные в 2 раза. Эту задачу можно свести к задаче классификации изображений по фокусному расстоянию во время съемкиТакой подход частично решает проблему влияния существенно различающегося масштаба и получил название многомасштабной сети глубокой остаточной агрегации (англ. Для ее решения используется сверточная сетьMultiscale Deep Residual Aggregation Network, которая состоит из двух блоков свертки и двух полносвязных блоков для классификацииMDRAN)<ref name="dran"/>.

Такая сверточная сеть показывает большую точность== Детекция клеток ==Во многих биологических экспериментах необходимо уметь детектировать клетки, чем группа людей-экспертов. По сравнению с другими подходами к автофокусировкеза которыми ведется наблюдение, сеть не требует физической калибровки и устойчива к шумупонимать сколько их, оптическим артефактам и особенностям, отличным от ячееккак они расположены относительно друг друга. Для решения этих задач в компьютерном зрении используется несколько разных подходов<ref>[https://wwwieeexplore.natureieee.comorg/articlesdocument/s415985711528 Takeo Kanade {{-018-25458-w/ Ling Wei— Reconstructing cell cycle }} Cell image analysis: Algorithms, system and disease progression using deep learningapplications, 20182011]</ref>. Одни используют сверточные сети, чтобы предсказывать карту плотности, другие основаны на построении деревьев максимально устойчивых экстремальных областей. Вне зависимости от реализации, методы детекции клеток направлены на оценку количества клеток и учитывают перекрывания, неравномерность распредления клеток и другие факторы, специфичные для микроскопических изображений.

== Детекция = Подсчет клеток на основе сверточных сетей ===Во многих биологических экспериментах необходимо уметь детектировать клетки[[Файл:FCRN-A_and_FCRN_B.png|425px|thumb|right|Рисунок 6. Архитекутры полносверточных регрессионных сетей для построения карт плотности<ref name="fcrn">[https://www.robots.ox.ac.uk/~vgg/publications/2016/Xie16/xie16.pdf Weidi Xie {{---}} Microscopy cell counting and detection with fully convolutional regression networks, за которыми ведется наблюдение, понимать сколько их, как они расположены относительно друг друга2016]</ref>. Для решения этих задач в компьютерном зрении используется несколько ]]К автоматическому подсчету клеток можно подойти с разных подходовсторон. Одни используют сверточные сети, чтобы предсказывать карту плотности, другие основаны Первый подход основан на построении деревьев максимально устойчивых экстремальных областейдетекции с предварительной сегментацией изображения. Вне зависимости от реализации, методы Процесс сегментации сам по себе сложен и существует более эффективный способ. В его основе лежит регрессия и оценка плотности без непосредственной детекции клеток направлены на оценку количетсва клеток и учитывают перекрывания, неравномерность распредления сегментации. По карте плотности можно с хорошей точностью оценить количество клеток и другие факторы, специфичные для микроскопических изображений.

=== Обнаружение и подсчет клеток на основе сверточных сетей ===[[Файл:FCRN-A_and_FCRN_B.png|450px|thumb|right|Архитекутры сетей FCRN-A и FCRN-B для построения карт плотности]]Методы, основанные на построении сверточных сетей, используются для регрессии карт плотности, по которым впоследствие можно оценить количество клеток. Особенностью изображений микроскопии является то, что клетки в большинстве случаев имеют размер значительно меньший, чем размер изображения, то есть нет необходимости использовать сложные глубокие сети, которые способны выучить высоко семантическую информацию. Поэтому используются полносверточные регрессионные сети с архитектурой (англ. Fully Convolutional Regression Networks, FCRN-A или FCRN-B)<ref name="fcrn"/>. Различия в архитектурах состоят в размерах ядер и количестве слоев(рисунок 6). Такие сети на выходе дают карту плотности клеток.

Такой подход позволяет проводить непрерывное обучение с изображениями произвольных размеров, что важно в том числе для покадровой съемке съемки и изучением изучения длительных процесоов. Он также обеспечивает интуитивное понимание представлений функций из FCRN, визуализируя, в какой степени информация была закодирована на разных уровнях.

=== Обнаружение Распознавание перекрывающихся объектов на основе деревьев экстремальных областей ===[[Файл:Extremal Region Trees.png|left|250px|thumb|Рисунок 7. Получающаяся древовидная структура из <ref name="tree">[http://sites.skoltech.ru/app/data/uploads/sites/25/2014/11/MIA15.pdf статьиCarlos Arteta {{---}} Detecting Overlapping Instances in Microscopy Images Using Extremal Region Trees, 2016]</ref>.]]

Чтобы учесть все особенности изображения используется метод, основанный на древовидной дискретной графической модели, которая позволяет выбрать и промаркировать набор непересекающихся участков изображения с помощью глобальной оптимизации<ref name="tree"/>. Каждый регион маркируется в соответствии с количеством объектов, которые он содержит. В условиях низкой плотности объектов метод, как правило, находит и выделяет отдельные клетки, а в местах, где клетки перекрываются, предложенный метод выделяет группы клеток(рисунок 7). Подобное адаптивное поведение, управляемое оптимизационным процессом, является уникальным для данного метода.

#* [[ Компьютерное зрение ]]#* [[ Глубокое обучение ]]* [[ Сверточные нейронные сети ]]#* [[ Batch-normalization ]]* [[ Сегментация изображений ]]