Компьютерное зрение в микроскопии

Компьютерное зрение помогает автоматизировать обработку изображений, полученных с помощью микроскопии. С его появлением стало возможным эффективно и с хорошей точностью классифицировать клетки, сегментировать полученные изображения, улучшать их качество и решать другие задачи без участия человека.

Задачи компьютерного зрения в микроскопии

На данный момент компьютерное зрение нашло применение в большинстве направлений, где есть необходимость обрабатывать и анализировать изображения. Микроскопия не стала исключением. Теперь задачи, направленные непосредственно на работу с изображениями, можно решить используя методы глубокого обучения, например, построить подходящую сверточную нейронную сеть.

Классификация клеток

Классификация клеток является базовой задачей микроскопии. Обычно для этого используются изображения, полученные на флуоресцентных микроскопах, так как классификаторы для изображений с обычных оптических микроскопов не способны отразить биологическое разнообразие различных типов клеток. Клетки можно делить по фазе в клеточном цикле, типу (повержденные или нет, раковые или нормальные), физиологическому состоянию, виду и другим признакам. Для большинства задач классификации уже существуют готовые архитектуры сверточных сетей, использующие флуоресцентные метки в качестве категориальных.

Определение фазы клеточного цикла

Одним из признаков, по которым можно разделить клетки, является определение фазы клеточного цикла, в которой находится клетка. Эта задача имеет практическое применение для обнаружения поврежденных клеток, которые при визуализации будут кластеризоваться отдельно от остальных. Сверточная сеть обучается на изображениях с флуоресцентными метками, о которых было сказано ранее, и дает на выходе не только классификацию каждой клетки, а также визуализирует процесс клеточного цикла, используя нелинейное уменьшение размерности. Классификация и визуализация являются всего лишь различными способами интерпретации результатов, поэтому строятся на основе одних и тех же выведенных закономерностей.

Архитектура сверточной нейронной сети для определения фазы клетки из статьи.

Особенностью работы данной сверточной сети является необходимость разметить только небольшую часть данных, на основании чего она далее учится размечать самостоятельно. Интересно, что при визуализации фазы упорядочены в хронологически правильном порядке, несмотря на то, что информация о порядке фаз не передавалась в сеть напрямую.

Идентификация раковых клеток

Другой задачей классификации является обнаружение раковых клеток. Для ее решения используется сверточная нейронная сеть с архитектурой VGG-16, в которой дополнительно после каждой функции активации добавлена пакетная нормализация для регуляризации. Сеть, как и остальные классификаторы изображений микроскопии, принимает на вход изображения с флуоресцентными метками. Особенностью при обучении сетки является использование трансферного обучения, то есть модель предварительно обучается на другом огромном объеме данных. В данном случае первые 14 слоев обучаются на наборе данных классификации ImageNet.

Архитектура сверточной нейронной сети для классификации раковых клеток из статьи.

Такая сверточная сеть лучше справляется с задачей классификации клеток по сравнению с экспертом-человеком, особенно на изображениях с недостаточно хорошим качеством.

Сегментация изображений

Задача сегментации изображений, полученных с микроскопа, состоит в том, чтобы аннотировать их, то есть отмечать границы объектов (клеток, ядер). Для решения этой задачи обычно используется модифицированная полносвязная сверточная сеть U-Net.

Архитектура сверточной нейронной сети U-Net из статьи.

Сеть U-Net получила широкое распространение благодаря способности последовательно распознавать как большие, так и мелкие частицы, а также устойчивости к различным условиям визуализации и наборам данных.

Улучшение качества изображений

Зачастую изображения, полученные с помощью микроскопии, не имеют достаточно хорошее для дальнейшей работы качество. Сверточные сети, которые улучшают качество уже имеющихся снимков, не имеют отличий, связанных со специфичностью изображений.

Гораздо более интересная задача компьютерного зрения состоит в том, чтобы сразу получать более четкие изображения. При покадровой съемке длительного непрерывного процесса необходимо постоянно следить за положением фокуса микроскопа, чтобы не получать размытые изображения. Процесс выставления фокуса можно автоматизировать, построив сеть, которая будет предсказывать нужное положение. Эту задачу можно свести к задаче классификации изображений по фокусному расстоянию во время съемки. Для ее решения используется сверточная сеть, которая состоит из двух блоков свертки и двух полносвязных блоков.

(a) Архитектура сверточной нейронной сети для предсказывания положения фокуса микроскопа из статьи. (b) Примеры изображений с разным фокусным расстоянием.

Такая сверточная сеть показывает большую точность, чем группа людей-экспертов.

См. также

1. Компьютерное зрение
2. Сверточные нейронные сети
3. Сегментация изображений