Компьютерное зрение в микроскопии

Компьютерное зрение помогает автоматизировать обработку изображений, полученных с помощью микроскопии. С появлением сверточных нейронных сетей стало возможным эффективно и с хорошей точностью классифицировать клетки, сегментировать полученные изображения, улучшать их качество и решать другие задачи без непосредственного участия человека.

Задачи компьютерного зрения в микроскопии

На данный момент компьютерное зрение нашло применение в большинстве направлений, где есть необходимость обрабатывать и анализировать изображения. Микроскопия не стала исключением. Теперь задачи, которые напрямую связаны с работой с изображениями, можно решить, построив соответствующую сверточную сеть.

Классификация клеток

Классификация клеток является базовой задачей микроскопии. Многообразие признаков, по которым можно делить клетки, велико, но для некоторых уже существуют готовые архитектуры сверточных нейросетей.

Определение фазы клеточного цикла

Для определения фазы клеточного цикла, в которой находится клетка, используется сверточная нейросеть, которая обучается с помощью категориальных меток. На основе изученных признаков сеть дает на выходе классификацию каждой клетки, а также визуализирует процесс клеточного цикла.

Архитектура сверточной нейронной сети для определения фазы клетки из статьи.

Особенностью работы данной сверточной нейросети является необходимость разметить только небольшую часть данных, на основании чего она далее учится размечать самостоятельно.

Идентификация раковых клеток

Для классификации раковых клеток используется сверточная нейронная сеть с архитектурой VGG-16, а также трансферное обучение, то есть модель предварительно обучается на другом огромном объеме данных.

Архитектура сверточной нейронной сети для классификации раковых клеток из статьи.

Такая сверточная сеть лучше справляется с задачей классификации клеток по сравнению с экспертом-человеком, особенно на изображениях с недостаточно хорошим качеством.

Сегментация изображений

Задача сегментации изображений, полученных с микроскопа, состоит в том, чтобы аннотировать их, то есть отметить границы объектов (клеток, ядер). Для решения этой задачи обычно используется модифицированная полносвязная сверточная сеть U-Net.

Архитектура сверточной нейронной сети U-Net из статьи.

Сеть U-Net получила широкое распространение благодаря способности последовательно распознавать как большие, так и мелкие частицы, а также устойчивости к различным условиям визуализации и наборам данных.

Улучшение качества изображений

Не всегда изображения, полученные с помощью микроскопии, имеют достаточно хорошее для дальнейшей работы качество. В связи с этим получили распространение сверточные нейросети, способные улучшить качество уже имеющихся изображений или предсказать положение фокуса микроскопа для покадровой съемки.

Контроль положения фокуса при покадровой микроскопии

Одной из интересных задач компьютерного зрения является предсказывание положение фокуса при покадровой съемке микроскопа для получения более четких изображений. Для ее решения используется сверточная сеть, состоящая из двух блоков свертки и двух полносвязных блоков и представленная ниже.

(a) Архитектура сверточной нейронной сети для предсказывания положения фокуса микроскопа из статьи. (b) Примеры изображений с разным фокусным расстоянием.

Такая сверточная сеть показывает большую точность, чем группа людей-экспертов.

См. также

1. Компьютерное зрение
2. Задача нахождения объектов на изображении