Сегментация экземпляров

Сегментация объектов - это сложная техника компьютерного зрения (CV), которая идентифицирует объекты на изображении и определяет точные границы каждого отдельного объекта на пиксельном уровне. В отличие от методов, которые только размещают рамки вокруг объектов, сегментация экземпляров обеспечивает гораздо более детальное понимание сцены, создавая уникальную маску для каждого обнаруженного объекта, даже если они принадлежат к одному классу. Эта возможность очень важна для современных приложений искусственного интеллекта (ИИ), где необходимо знать точную форму, размер и пространственную протяженность отдельных объектов, особенно когда объекты перекрываются.

Как работает сегментация экземпляров

Модели сегментации объектов анализируют изображение, чтобы сначала найти потенциальные объекты, а затем, для каждого обнаруженного объекта, предсказать, какие пиксели принадлежат данному конкретному объекту. Традиционные подходы, такие как влиятельная архитектура Mask R-CNN, часто используют двухэтапный процесс: во-первых, они выполняют обнаружение объектов для создания предложений ограничивающих рамок, а во-вторых, они генерируют маску сегментации в пределах каждой предложенной рамки. Несмотря на свою эффективность, эти методы могут быть требовательны к вычислительным ресурсам.

Более современные подходы, включая такие модели, как Ultralytics YOLO, часто используют одноэтапные конвейеры. Эти модели одновременно предсказывают ограничительные рамки, метки классов и маски экземпляров за один проход через нейронную сеть (НС), что приводит к значительному повышению скорости, делая их пригодными для выводов в режиме реального времени. Для обучения этих моделей требуются большие наборы данных с аннотациями на уровне пикселей, такие как широко используемый набор данных COCO, в частности его аннотации к сегментации. В этом процессе обычно используются методы глубокого обучения (DL), использующие конволюционные нейронные сети (CNN) для изучения сложных визуальных характеристик.

Сегментация экземпляров в сравнении со смежными задачами

Важно отличать сегментацию экземпляров от других задач сегментации изображений:

• Обнаружение объектов: Определяет наличие и местоположение объектов с помощью ограничительных рамок, но не предоставляет информацию о форме. Сегментация объектов идет дальше, определяя точные пиксели каждого объекта.
• Семантическая сегментация: Присваивает каждому пикселю изображения метку класса (например, "автомобиль", "человек", "дорога"). Однако он не делает различий между разными экземплярами одного и того же класса. Например, все автомобили будут относиться к одному сегменту "автомобиль". Подробнее об этом вы можете прочитать в руководстве по сегментации экземпляров и семантической сегментации.
• Паноптическая сегментация: Сочетает в себе семантическую сегментацию и сегментацию по экземплярам. Она присваивает метку класса каждому пикселю (как семантическая сегментация), а также однозначно идентифицирует каждый объект (как сегментация экземпляров).

Сегментация объектов направлена на обнаружение и выделение отдельных экземпляров объектов, обеспечивая высокую точность определения границ и разделения объектов.

Области применения сегментации экземпляров

Способность точно идентифицировать и изолировать отдельные объекты делает сегментацию экземпляров неоценимой во многих областях:

• Автономное вождение: Для точного восприятия окружающей обстановки самоуправляемые автомобили полагаются на сегментацию объектов. Различение отдельных автомобилей, пешеходов, велосипедистов и препятствий, даже в загроможденных или перекрывающихся сценах, очень важно для безопасной навигации и принятия решений. Такие компании, как Waymo, широко используют подобные методы.
• Анализ медицинских изображений: В радиологии и патологии сегментация экземпляров помогает выделить на снимках(КТ, МРТ и т. д.) конкретные структуры, такие как опухоли, органы или клетки. Такая точность на уровне пикселей помогает в диагностике, измерении размера опухоли, планировании операций и отслеживании прогрессирования заболевания. Например, использование YOLO11 для обнаружения опухолей демонстрирует это применение в более широком контексте ИИ в здравоохранении.
• Робототехника: Роботы, выполняющие такие задачи, как захват или манипулирование в неструктурированной среде, должны точно идентифицировать и определять местоположение отдельных объектов. Сегментация объектов позволяет роботам понять точную форму и границы предметов для успешного взаимодействия, что более подробно рассматривается в разделе " ИИ в робототехнике".
• Анализ спутниковых снимков: Используется для детального картографирования почвенно-растительного покрова, мониторинга разрастания городов путем идентификации отдельных зданий или отслеживания конкретных объектов, таких как корабли или транспортные средства. Такой уровень детализации способствует мониторингу окружающей среды, управлению ресурсами и сбору разведданных. Изучите общие методы анализа спутниковых изображений.
• Сельскохозяйственный мониторинг: Помогает подсчитывать отдельные растения или плоды, оценивать состояние урожая по каждому растению или выявлять конкретные виды сорняков для целенаправленного вмешательства, способствуя развитию точного сельского хозяйства.

Сегментация экземпляров с помощью Ultralytics YOLO

Ultralytics предлагает современные модели, способные эффективно выполнять сегментацию экземпляров. Такие модели, как YOLOv8 и YOLO11, разработаны для обеспечения высокой производительности в различных задачах компьютерного зрения, включая сегментацию экземпляров(см. подробности задачи сегментации). Пользователи могут использовать предварительно обученные модели или выполнять тонкую настройку на пользовательских наборах данных с помощью таких инструментов, как платформа Ultralytics HUB, которая упрощает рабочий процесс машинного обучения (ML) от управления данными до развертывания моделей. Для практического применения доступны такие ресурсы, как учебные пособия по сегментации с помощью предварительно обученных моделей Ultralytics YOLOv8 или руководства по выделению объектов сегментации. Вы также можете узнать , как использовать Ultralytics YOLO11 для сегментации экземпляров. Для разработки и развертывания этих моделей обычно используются такие популярные фреймворки, как PyTorch и TensorFlow.