Разработка специального программного обеспечения

Направления разработки специального программного обеспечения АО «НПО «СПИН»

Сегментация фото- и видеоизображений на основе искусственных нейронных сетей для решения задач картографии

Разработанные компанией алгоритмы сегментации фото- и видеоизображения позволяют производить анализ визуальных данных во времени, приближенном к реальному. Эта технология находит широкое применение в различных областях. В частности, она используется для нужд картографии и геоинформатики, где точная и быстрая сегментация изображений земной поверхности критически важна для создания и обновления карт. Кроме того, данные алгоритмы эффективны в системах автоматической фиксации правонарушений, обеспечивая надежное распознавание объектов и событий. В сфере автономной навигации сегментация изображений помогает транспортным средствам ориентироваться в пространстве и избегать препятствий. Технология также позволяет получать контекстуальную карту местности в режиме реального времени и осуществлять автоматическое обнаружение и сопровождение различных объектов.

Анализ изображений путем обработки запросов на естественном языке для решения задач картографии и геоинформатики

Разработанные алгоритмы анализа изображений предоставляют оператору возможность выделять и анализировать объекты интереса на основе запросов, сформулированных на естественном языке. Этот подход строится на предварительно выполненной сегментации изображений и значительно упрощает взаимодействие пользователя с системой. Основными областями применения данной технологии являются картография и геоинформатика, где требуется оперативный анализ больших объемов визуальных данных. Также технология может быть полезна при анализе больших данных в других сферах и при проведении поисковых работ, где скорость и точность идентификации объектов критически важны.

Ключевые характеристики системы включают способность распознавать контекст вопроса, заданного оператором. Ответы предоставляются как в текстовом, так и в графическом виде, что обеспечивает наглядность и полноту информации. Важным преимуществом является гибкость программного обеспечения, которое можно адаптировать под различные задачи и легко встраивать в уже существующие решения и системы. Это позволяет расширить функциональность имеющихся инструментов без необходимости их полной замены.

Автоматическое сопровождение объектов с применением искусственных нейронных сетей и систем визуальной навигации

Разработка систем автоматического сопровождения объектов на основе искусственных нейронных сетей также является одним из ключевых направлений. Созданный нейросетевой алгоритм способен обеспечивать автоматическое сопровождение объектов в реальном времени, обрабатывая видеопоток с разрешением 720p при 24 кадрах в секунду. Система динамически определяет классы сопровождаемых объектов и способна сохранять информацию об объекте в памяти даже при его временном выходе из кадра или перекрытии другими объектами. Важной особенностью является адаптация алгоритма к изменениям ракурса, масштаба, контрастности изображения и различных погодных условий. Система может функционировать без предварительного обучения нейронной сети, однако дополнительное обучение позволяет значительно улучшить результативность и точность сопровождения.

Специализированное программное обеспечение (СПО) для сопровождения объектов предлагает два режима работы: полуавтоматический и автоматический. В полуавтоматическом режиме оператор вручную указывает интересующие зоны или объекты для сопровождения несколькими кликами мыши. В автоматическом режиме система самостоятельно обнаруживает объекты на видеопотоке и начинает их сопровождение без вмешательства оператора. Такой подход обеспечивает гибкость использования системы в зависимости от конкретной задачи.

Нейросетевые алгоритмы демонстрируют высокую эффективность даже в сложных условиях наблюдения. Например, система успешно справляется с отслеживанием объектов в темное время суток, при наличии засветов от уличного освещения, отражений фар от дорожного покрытия или при частичном перекрытии объектов кронами деревьев. Объекты для отслеживания могут быть выбраны случайным образом, что подтверждает надежность алгоритмов при частичной потере видимости.

Для задач автономного ведения поисковых и разведывательных работ компанией разработан универсальный интегрируемый модуль на основе алгоритмов инстанс-сегментации оптических данных. Этот модуль позволяет оператору выбирать точечные, линейные или площадные объекты интереса для отслеживания, задавать полетное задание для беспилотных систем и выбирать режим обнаружения (автоматический или полуавтоматический). Система обеспечивает отрисовку точных контуров объектов с возможностью экспорта масок для последующего анализа. Она способна надежно отслеживать одновременно до 10 объектов интереса на временном интервале до 20 минут, сохраняя объект в памяти до 1 минуты при его выходе из кадра и адаптируясь к смене времени года, суток и погодных условий.

Практическое применение СПО визуальной навигации реализуется через универсальный интегрируемый модуль, который отличается компактностью и возможностью быстрой интеграции в существующие беспилотные системы. Модуль позволяет проводить поисковые и разведывательные работы в полностью автономном режиме и совместим с различными платформами БПЛА и широким спектром оптико-электронных сенсоров.

Паноптическая сегментация для решения задач наземной автономной навигации

Специальное программное обеспечение на основе алгоритмов паноптической сегментации представляет собой передовое решение для задач наземной автономной навигации. Ключевое преимущество паноптической сегментации перед семантической и инстанс-сегментацией заключается в способности одновременно решать две задачи: классифицировать пиксели изображения по семантическим категориям и идентифицировать отдельные экземпляры объектов. Это позволяет создавать более полную и детальную картину окружающей среды.

Выполнение паноптической сегментации в реальном времени решает ключевой вопрос автономной навигации наземных, надводных и воздушных комплексов – дифференциацию подвижных объектов (пешеходов, велосипедистов, автомобилей) и статических элементов (ландшафта, зданий). Паноптическая сегментация позволяет делать это в единой нейросетевой модели, совмещая преимущества семантического и инстанс-анализа.

Разметка и аугментация многоспектральных данных

Специальное программное обеспечение разметки и аугментации многоспектральных данных предназначено для подготовки исходных видеоданных для обучения нейросетевых алгоритмов с целью обнаружения и распознавания зачетных объектов. Комплекс решает ряд важных задач, включая разметку и аугментацию многоканальных данных – телевизионного, тепловизионного и коротковолнового инфракрасного диапазонов, а также данных лазерного дальномера. Система поддерживает работу с видеоданными различного разрешения и предоставляет возможность произвольной автоматической аугментации данных.

Программное обеспечение позволяет выполнять «обрезку» данных под конкретный размер входного слоя искусственной нейросети (ИНС), что оптимизирует процесс обучения. Важной функцией является калибровка входных каналов многоспектральных данных, обеспечивающая согласованность информации из разных источников. Система разработана с учетом возможности запуска на операционных системах Linux, что расширяет спектр ее применения.

В СПО реализована функция автоматической аугментации данных, которая необходима для расширения обучающей выборки для повышения устойчивости и точности нейросетевых алгоритмов. Система поддерживает различные методы аугментации, включая перевод изображения в градации серого, отражение по вертикали и горизонтали, поворот, изменение яркости и контрастности, а также добавление шума. Все методы аугментации данных имеют дополнительные настройки, позволяющие тонко настраивать процесс. СПО также предоставляет возможность предпросмотра аугментированных данных для их оценки перед использованием в обучении.

Обработка данных лазерного сканирования с применением искусственных нейронных сетей

Специальное программное обеспечение на основе искусственных нейронных сетей для обработки данных лазерного сканирования представляет собой еще одно перспективное направление разработки. Область применения этой технологии включает подготовку исходных данных для обучения нейросетевых алгоритмов по обнаружению и распознаванию зачетных объектов, распознавание объектов с помощью иерархических нейронных сетей (ИНС), картографию и геоинформатику, целеуказание и автономную навигацию.

Основными преимуществами разработанных алгоритмов являются автоматическая сегментация облаков точек лазерного отражения (ТЛО) различной плотности, способность распознавать объекты интереса после предварительного обучения, возможность аннотирования и аугментации данных облаков ТЛО различной плотности. Важной особенностью является то, что искусственная нейронная сеть осуществляет классификацию каждой отдельной точки лазерного отражения, обеспечивая высокую детализацию результатов.

Модуль разметки, входящий в состав СПО, имеет множество встроенных инструментов для повышения удобства работы оператора. Он позволяет использовать интуитивно понятные инструменты разметки, например, привычную «кисточку» для «окрашивания» облаков ТЛО. Модуль классифицирует каждую точку облака ТЛО, присваивая ей невидимый оператору класс и цвет для понятной визуализации. Система может быть запущена на операционных системах семейства Linux и позволяет выполнять импорт и экспорт данных разметки, которые не приводят к изменению исходной структуры файла облака ТЛО.

СПО обработки радиолокационных изображений

Специальное программное обеспечение обработки радиолокационных изображений предназначено для анализа и интерпретации данных, полученных с помощью радиолокационных систем. Одной из ключевых функций является выполнение привязки радиолокационного изображения к спутниковому снимку в полуавтоматическом режиме. Это позволяет соотносить радиолокационные данные с географическими координатами и другими источниками информации.

Особенностями данного программного обеспечения являются реализация на основе классических алгоритмов машинного зрения, что обеспечивает мгновенную работу на современных устройствах, включая мобильные платформы на базе Android. Система предоставляет возможность проводить автоматическую привязку радиолокационных изображений к фотопланам и картам, что значительно упрощает и ускоряет процесс анализа данных.

СПО Планирования полетов БПЛА в городской среде

Специальное программное обеспечение планирования полетов БПЛА в городской среде представляет собой клиент-серверное приложение для построения оптимальных маршрутов полета беспилотных летательных аппаратов. При планировании учитываются различные факторы, включая аэронавигационные препятствия, рельеф местности, зоны ограничений полетов, метеоданные и тактико-технические характеристики летательного аппарата.

Система обеспечивает комплексный подход к планированию полетов, учитывая все необходимые параметры для безопасного и эффективного выполнения задач в городской среде, где плотность препятствий и ограничений значительно выше, чем в открытой местности.

Ключевые возможности СПО включают автоматический поиск населенного пункта или улицы по наименованию, что упрощает навигацию в системе. Предусмотрено серверное или ручное задание тактико-технических характеристик БПЛА, что позволяет адаптировать планирование под конкретный тип аппарата. Система позволяет задавать «коридор безопасности» полета, обеспечивая необходимый запас высоты и расстояния от препятствий. Важной функцией является получение характеристик проложенных оптимальных маршрутов, включая расстояние, высоты и координаты узловых точек. Система также обеспечивает проверку возможности выполнения полета по прогнозируемым метеоданным, что критически важно для безопасности полетов. Предусмотрен анализ запретных зон полета, позволяющий избегать нарушений воздушного пространства. Визуализация рельефа местности и вариативность визуализации подстилающей поверхности обеспечивают наглядное представление маршрута и окружающей среды, что помогает оператору лучше понимать условия выполнения полета.

СПО планирования аэросъемки

Специальное программное обеспечение планирования аэросъемки предназначено для подготовки полетного маршрута и оптимизации процесса сбора данных с помощью воздушных платформ. Система учитывает различные параметры, включая характеристики объекта съемки, используемое оборудование (цифровую аэрофотосъемочную камеру и аппаратуру лазерного сканирования) и цифровую модель рельефа местности.

Результатом расчета СПО планирования аэросъемки являются наборы данных, включающие плотность точек, полученных в результате лазерного сканирования, границы облаков точек для отдельных съемочных линий, рамки отдельных снимков, рассчитанные центры фотографирования на траектории съемки, траекторию съемки, высоты съемочных линий и профиль рельефа вдоль выбранной съемочной линии.

Расчет ведется с учетом загруженной цифровой модели рельефа, что обеспечивает адаптацию параметров съемки к особенностям местности. Траектория съемки рассчитывается либо исходя из заданного направления линий, либо определяется такое направление линий съемки, которое обеспечивает наиболее быструю съемку, оптимизируя использование ресурсов.

Создание картографических баз данных аэродромов

Специальное программное обеспечение создания картографических баз данных аэродромов обеспечивает решение ряда важных задач в области аэронавигации. Система поддерживает работу со стандартом базы данных навигационной системы ARINC 424, что обеспечивает совместимость с международными системами. Предусмотрен анализ данных о препятствиях в различных зонах аэродрома, что критически важно для безопасности полетов.

СПО обеспечивает работу с данными об объектах летного поля аэродрома в формате AMXM и позволяет присваивать семантические характеристики элементам, что обогащает базу данных дополнительной информацией. Система поддерживает использование различных подложек, включая ортофотоплан и бланковую карту, что упрощает визуальную верификацию данных.

Важными функциями являются импорт и экспорт данных в формате AIXM 5.1, а также экспорт данных в формат KML для просмотра в трехмерном представлении. Система также обеспечивает конвертацию данных AMXM формата ARINC 424 в бортовые форматы ARINC 816-3, ARINC 815, ARINC 813, что позволяет использовать созданные базы данных в бортовых системах воздушных судов.

Технология создания AMDB (картографическая база данных аэродромов) включает несколько этапов. Сначала проводится лазерное сканирование территории аэродрома, затем выполняется обработка и дешифрирование полученных данных. На основе этой информации получают данные о вертикальных структурах AMDB. Параллельно проводится обработка и дешифрирование данных на основе аэрофотосъемки, что позволяет получить данные об элементах AMDB и препятствиях. Важным этапом является полевой контроль полученных данных, обеспечивающий их верификацию. На основе данных лазерного сканирования строится модель местности площади аэродрома. Завершающим этапом является преобразование данных в форматы AIXM и AMXM, что обеспечивает их совместимость с различными системами. Все работы проводятся в соответствии с требованиями стандартов RTCA DO-272C / EUROCAE ED-99C, что гарантирует высокое качество и надежность создаваемых баз данных.

АО «НПО «СПИН» обеспечила безопасное самолетовождение в районах 69 аэропортов Российской Федерации. Примеры сформированных AMDB включают общий вид аэропорта Внуково, вид на площадь маневрирования Внуково и отрисовку элементов AMDB по ортофотоплану. Эти примеры демонстрируют высокое качество и детализацию создаваемых картографических баз данных аэродромов.