Computer Vision
Превращаем ваши камеры в источник полезных данных
Решаемые задачи
Компьютерное зрение (Computer Vision) – это автоматическая фиксация и обработка изображений неподвижных и движущихся объектов при помощи компьютерных средств. Использование компьютерного зрения позволяет определять, что изображено, классифицировать эти изображения и анализировать их.
Компьютерное зрение работает в три основных этапа:
- получение изображения, в том числе в режиме реального времени с помощью видео или набора фотографий для анализа;
- обработка изображения, которая происходит с помощью моделей глубокого обучения (deep learning). При этом модели часто обучаются, сначала получая огромное количество размеченных или предварительно идентифицированных изображений (датасеты).
- понимание изображения, который по сути является этапом интерпретации, когда объект идентифицируется или классифицируется.
Направления работы
- Безопасный город
- Контроль поведения сотрудников
- Контроль правильности исполнения инструкций
- Выявление аномального поведения
- Поиск объектов в кадре
- И прочие задачи
Используемые технологии
Для создания базовых моделей компьютерного зрения используется обширная библиотека OpenCV, Keras, Сaffe, а для обучения и настройки нейросетей фреймворк PyTorch/Tensorflow.
Для оптимизации нейронных сетей используется Nvidia TensorRT, а продуктивизация моделей машинного обучения происходит с помощью фреймворка для считывания и обработки видеопотока Nvidia DeepStream и фреймворк для запуска нейронных сетей в продуктивной среде Nvidia Triton Inference Server.
Таким образом, для разработки решений используются следующие инструменты:
- инструменты продуктивизации моделей для оптимальной загрузки GPU и контроля качества работы моделей:
- инструменты для стандартизации формата и ускорения применения моделей: ONNX, TensortRT;
- инструмент для запуска, масштабирования и распределения нагрузки на модели, использующие GPU, – Nvidia Triton;
- инструменты для выполнения преобразований, необходимых для запуска нейросетевых моделей: Canny Edge Detection, экстраполяция и аугментация изображения, поиск гомографии изображения, детектирование изменения сцены и качества входного видеопотока.
- инструменты для поиска и выделения необходимой информации с видеопотока: EfficientNet, ResNet, MobileNet, семейство моделей YOLO, TransPose (Transformer) и т.д.
- инструменты для постобработки результатов нейросетевых моделей: normal distribution outliers, Isolation forest, k-means и т.д.