[01-2025] Информационная система технического зрения

[Admin]

Информационная система технического зрения

ОХОТНИКОВ Андрей Леонидович, АО «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте», заместитель начальника Департамента информационных технологий - начальник отдела стратегического развития, Москва, Россия
ЦВЕТКОВ Виктор Яковлевич,
АО «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте», заведующий научным отделом, профессор, д-р техн, наук, Москва, Россия

Ключевые слова: транспорт, транспортный объект, беспилотное управление, система технического зрения, информационная система, глубина динамического зрения

Аннотация. В статье проанализированы информационные системы технического зрения, применяемые при пилотном и беспилотном управлении, показаны их особенности. Приведен анализ датчиков в системах технического зрения. Отмечено ограничение использования некоторых из них при скоростном и высокоскоростном движении. Указано, что реализацию систем технического зрения необходимо осуществлять с интеграцией с другими системами. Рассмотрен пример внедрения интегрированной системы на электропоезде «Ласточка» Московского центрального кольца. Введено понятие глубина динамического зрения.

■ Средства технического зрения применяются достаточно давно [1]. Первоначально они работали в режиме фиксации и получения визуального образа, имели невысокое разрешение и предназначались для контроля качества и иных видов контроля [2]. Развитие этого направления способствовало созданию цифровых фотоаппаратов. Другое направление было связано с получением потока информации и требовало наличия носителей большой емкости. В результате его развития появились цифровые видеокамеры.
Благодаря соединению потокового технического зрения с информационно-измерительными системами родились системы технического зрения (СТЗ). Использование базы знаний и/или библиотеки визуальных образов в сочетании с СТЗ привело к появлению информационных систем технического зрения (ИСТЗ), которые часто называют упрощенно СТЗ. Однако именно ИСТЗ оказались
достаточными для поддержки принятия решений в управлении транспортными объектами (ТО), в том числе и для беспилотного управления. ИСТЗ становятся необходимыми для функционирования интеллектуальных транспортных (ИТС) и беспилотных авиационных (БАС) систем [3].
 

• 1ИНФОРМАЦИОННАЯ СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ КАК ЧАСТЬ СИСТЕМЫ БЕСПИЛОТНОГО УПРАВЛЕНИЯ
• 2ИНФОРМАЦИОННАЯ СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ КАК СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ
• 3БОРТОВАЯ ИСТЗ НА ПРИМЕРЕ ЭЛЕКТРОПОЕЗДА «ЛАСТОЧКА»
• 4СПИСОК источников

[топ]ИНФОРМАЦИОННАЯ СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ КАК ЧАСТЬ СИСТЕМЫ БЕСПИЛОТНОГО УПРАВЛЕНИЯ

■ Основой управления беспилотным транспортом являются специализированные системы. Условно их можно назвать информационными, поскольку они используют информационные модели. В тоже время многие из них включают интеллектуальные подсистемы, чаще всего на базе искусственной нейронной сети (ИНС). Информационная система технического зрения входит в состав системы управления беспилотным транспортом (СУБТ), обобщенная структура которой приведена на рис. 1.
Данная система включает в себя непосредственно аппаратную часть СТЗ и информационную поддержку. Данные ИСТЗ поступают в систему анализа, использующую базу об информационных ситуациях [4] движения и управления. Затем данные передаются в систему управления, которая вырабатывает управляющие воздействия, исходя из возможностей, типов исполнительных устройств и возможных сценариев (информационных ситуаций).
Важно отметить тот факт, что классическая или типовая система технического зрения использует информацию в секторе видимости, от которого существенно зависят возможности беспилотного управления. Сектор видимости имеет ограничения по дальности и углу зрения. Во время функционирования ИСТЗ контролирует окружающую ситуацию и режим управления, передает информацию о результатах управления по каналам телеметрической системы с учетом режима шифрования данных.
Современная информационная система технического зрения представляет собой сложный программно-аппаратный комплекс, состоящий из двух подсистем. Первая подсистема (сенсорная) является аппаратной и содержит датчики, использующие различные диапазоны волн разной физической природы. Она сканирует окружающее пространство по ходу движения транспортного объекта (ТО) для построения и моделирования информационной ситуации, а также определяет объекты, которые видны в секторе видимости ИСТЗ. Вторая подсистема - информационная, содержащая вычислитель с информационным и программным обеспечением (ПО), в том числе часто ИНС. Она обрабатывает сенсорные данные, полученные от датчиков, входящих в состав аппаратных средств ИСТЗ.

Результатом обработки служит динамическая модель информационной ситуации на пути движения ТО, а также создание основы для формирования информационных моделей сценариев движения и управляющих воздействий на ТО. Полученные модели используются для информационной поддержки управления и принятия решения. При беспилотном движении [5, 6] модели применяются для субсидиарного (самостоятельного) [7] реагирования на ситуацию и автоматического изменения режима
движения ТО. В современных СТЗ функционируют сенсоры в разных диапазонах: ИК - инфракрасном, О - оптическом, УФ - ультрафиолетовом, УЗ - ультразвуковом, РЛ -радиолокационном, Л - лазерном.
К оптическим датчикам относят видеокамеры. Они преобразуют динамическое оптическое изображение в цифровой поток видеоданных, отображающих реальную ситуацию в виде информационной модели. В совокупности датчики позволяют получить комплексную модель ситуации даже при неблагоприятных погодных условиях. Основными показателями видеокамер являются: разрешение, размер пикселя, динамическая глубина зрения, динамический диапазон плотностей, яркость, резкость, квантовая эффективность, отношение сигнал/шум.

Тепловизор или ИК-камера -служит для определения спектра температуры объектов ситуации и дает возможность обнаруживать их в условиях плохой визуальной видимости. Неблагоприятные погодные условия (сильные порывы ветра, которые приводят к смещению тепловых контуров, обильные осадки и туман) задерживают инфракрасное излучение. В пасмурную погоду наиболее информативен коротковолновый инфракрасный диапазон (SWIR). В условиях плотного тумана или ночью в теплую погоду более качественное изображение будет у камеры длинноволнового инфракрасного диапазона (LWIR). Основные показатели ИК-датчиков: разрешение, чувствительность, фокусное расстояние и угол зрения, точность измерения. Кроме того, они характеризуются динамической глубиной «теплового» зрения.

Лидары [8] обнаруживают и определяют расстояние до объекта с помощью монохроматического отраженного светового лазерного импульса, представляя собой активные дальномеры оптического диапазона. Однако эффективность лидаров снижается во время сильного дождя или низких облаков из-за эффектов рефракции, а также при наличии большого числа отражающих элементов в секторе видимости. Основные показатели лазерной системы: динамическая дальность обнаружения или динамическая глубина «лазерного» зрения; отражательная способность воздуха, диапазон точности, диапазон угловых координат, длина волны излучения. Общей характеристикой датчиков является динамическая глубина зрения.

[топ]ИНФОРМАЦИОННАЯ СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ КАК СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ

■ ИСТЗ может применяться при ручном управлении как система поддержки действий машиниста. Машинист осуществляет рецепцию информации, визуально отслеживая ситуацию из кабины локомотива, принимает решения, используя свои когнитивные способности. Зрительный аппарат человека определяет яркость, форму, цвет, удаленность, объемность, качество, а также размеры объектов. Рецепция информации вводит дополнительный параметр время реакции или время формирования пространственной ситуации. У человека этот параметр много больше, чем у ИСТЗ. Кроме того, фактор усталости, не свойственный СТЗ, увеличивает время реакции человека. Преимущество действий машиниста заключается в образном мышлении. Он воспринимает информацию по образам, а не по пикселям и битам. База данных образов хранится в памяти машиниста и чем его опыт работы значительнее, тем больше образов он имеет и тем оперативнее реагирует на ситуацию.
ИСТЗ не имеет эмоций и когнитивных проблем. Она действует эффективней человека в условиях плохой видимости, не устает и постоянно (со скоростью поступающего информационного потока) контролирует информационную ситуацию при движении ТО. Для нее фактор динамической глубины играет важную роль. Как уже отмечалось, подсистема ИСТЗ обрабатывает большой объем данных с использованием моделей информационных ситуаций. Они выполняют ту же роль, что ассоциации в памяти машиниста. Их накопление повышает скорость реакции. Такой механизм реализуется с помощью обучаемой нейронной сети. Общий алгоритм работы ИСТЗ приведен на рис. 2.

Существуют разные виды ИСТЗ: инфраструктурные, бортовые, комплексные. Инфраструктурная ИСТЗ устанавливается на придорожном оборудовании. Ее основная цель - контроль ситуации в зонах ограниченной видимости или повышенной опасности и поддержка действий оператора (диспетчера). Бортовая ИСТЗ предназначена для обеспечения безопасного движения поезда при ручном или беспилотном управлении. Она повышает качество обнаружения объектов-препятствий при любых погодных условиях, но в рамках динамической глубины зрения.
Бортовой ИСТЗ присущи такие основные функции, как:

• фиксация информационной ситуации на пути следования;
• обнаружение препятствий в габарите подвижного состава (красная зона), аномальных объектов красной зоны;
• распознавание объектов, представляющих потенциальную угрозу (желтая зона), аномальных объектов желтой зоны;
• обнаружение видимых сигналов (огни светофоров, сигнальные знаки, диски, щиты, ручные сигналы работников железнодорожного транспорта и др.), регулирующих сигналов зоны движения;
• комплексная передача информации об обнаруженных аномальных объектах в систему управления ТО и центр дистанционного контроля и управления (ЦДКУ).

Аномальные объекты должны быть обязательно обнаружены на дистанции не менее, чем длина тормозного пути, но лучше - превышающей тормозной путь. Под контролем бортовой ИСТЗ находится несколько зон обнаружения препятствий, количество которых зависит от динамической глубины зрения датчиков.

[топ]БОРТОВАЯ ИСТЗ НА ПРИМЕРЕ ЭЛЕКТРОПОЕЗДА «ЛАСТОЧКА»

[9] ■ Система ИСТЗ [10] устанавливается непосредственно на подвижной состав (в каждый головной вагон электропоезда) и осуществляет контроль свободное™ пути перед подвижным составом на дистанции не менее 600 м.
В состав бортовой системы технического зрения входят камеры визуального (моно и стерео видеокамеры) и инфракрасного (тепловизоры) спектра, лазерные сканеры (лидары), ультразвуковые датчики и - вычислитель (рис. 3). Бортовая ИСТЗ имеет модульную архитектуру и специальное программное обеспечение. В конечном исполнении она может включать в себя 4 лидара, 4 датчика (ультразвуковых), 2 тепловизора и 8 видеокамер. Сенсоры бортовой ИСТЗ контролируют разные зоны и секторы видимости в зависимости от динамической глубины зрения (рис. 4).
Дальняя зона (не менее 600 м) реализуется с помощью монокулярной камеры с объективом 100 мм и стереокамеры, построенной на базе двух камер с объективом 50 мм. Средняя зона (не менее 300 м) контролируется стереокамерой на базе двух камер с объективом 25 мм (в перспективе - 2 лидарами), а ближняя (до 150 м) - стереокамерой на базе двух камер с объективом 12 мм и двумя лидарами.
На средней дистанции для определения препятствий в плохих погодных условиях обычно используется тепловизор. Для надежности работы ИСТЗ реализовано взаимное перекрытие между ближней и средней, а также между средней и дальней зонами. Однако для скоростного и высокоскоростного движения глубина динамического зрения здесь недостаточная.

Обработку данных с сенсоров технического зрения осуществляет специальный вычислитель, а моделей ситуаций - искусственная нейронная сеть. Именно использование информационных моделей ситуации и искусственной нейронной сети отличает ИСТЗ от типовой системы технического зрения.
Таким образом, можно сделать следующие выводы. Применение бортовой ИСТЗ в текущей конфигурации применимо для скорости движения ТО до 100 км/ч и не подходит для скоростного и высокоскоростного транспорта. Это обусловлено тем, что глубина динамического зрения в этом случае превышает тормозной путь. При скоростном движении тормозной путь составляет более 400 м, а при высокоскоростном не менее 1300 м. Возможности обычных камер (в оптическом и ИК-диапазоне) позволяют выявлять объекты на расстоянии до 1,5-2 км. Возможности лидара более широкие, а дальность его работы зависит от мощности зондирующего излучения. Так, для наблюдения объектов на расстоянии до 8-10 км потребуется лазер с длиной волны 1064 нм и энергией импульса 1700 мДж, что эквивалентно 170 МВт. Для беспилотных воздушных судов с характеристиками лидара (частотная ширина полосы усиления - 1 ГГц, диаметр чувствительной области приемника-50 мм, мощность импульсного лазера - 1 МВт) максимальная дальность обнаружения объектов составит около 240 м [11].
В связи с этим для скоростного и высокоскоростного движения бортовая система технического зрения должна поддерживаться инфраструктурными системами технического зрения, расположенными вдоль трассы или мобильными СТЗ на базе БАС. Это направление является следующим этапом развития систем технического зрения. С точки зрения анализа ситуаций необходимо разрабатывать локальные и стационарные базы данных информационных ситуаций. Параллельно важно накапливать опыт по применению и обучению искусственных нейронных сетей. Также перспективным следует считать разработку методов применения моделей знаний в информационных системах технического зрения.

[топ]СПИСОК источников

1. Лонский И.И. Техническое зрение для контроля качества и прогнозирования надежности полупроводниковых планарных структур И Электронная техника. Серия 3. Микро- и наноэлектроника. 1980. № 4. С. 117-121.
2. Review of surface defect detection of steel products based on machine vision / Bo Tang, Li Chen, Wei Sun, Zhong-kang Lin // IET Image Processing. 2023. Vol. 17. №. 2. C. 303-322. https://doi. org/10.1049/ipr2.12647
3. Цветков В.Я., Ознамец В.В. Мониторинг транспортной инфраструктуры с использованием интеллектуальных БПЛА // Автоматика, связь, информатика. 2020. № 8. С. 18-21. DOI 10.34649/АТ.2020.8.8.001.
4. Цветков В.Я. Модель информационной ситуации // Перспективы
науки и образования. 2017. №3 (27). С. 13-19.
5. Цветков В.Я., Андреева О.А. , Рогов И.Е., Титов Е.К. Ситуационное моделирование транспортной инфраструктуры при мобильном лазерном сканировании // Автоматика, связь, информатика. 2020. Na 2. С. 2-4. DOI 10.34649/АТ.2020.2.2.001.
6. Dolgy A.I. Spatial logic in process of unmanned vehicle operation / A.I Dolgy, LN Rozenberg, V.Ya Tsvetkov // AIP Conference Proceedings. Melville, NewYork, United States of America. 2021. C. 50059.
7. Гордиенко Е.П. Развитие беспилотных технологий на железнодорожном транспорте //Актуальные проблемы и перспективы развития транспорта, промышленности и экономики России (ТрансПромЭк 2020). 2020. С. 82-85.
8. Лёвин Б.А. Субсидиарное управление на железной дороге / Б.А. Лёвин, В.Я. Цветков, Ю.В. Дзюба // Мир транспорта. 2019. Т. 17. №4 (83). С. 22-35.
9. Li Y. Lidar for Autonomous Driving: The Principles, Challenges, and Trends for Automotive Lidar and Perception Systems I Y Li., J. Ibanez-Guzman // IEEE Signal Processing Magazine. 2020. T. 37(4). C. 50-61.
10. Андреев B.E. О комплексном проекте внедрения системы управления движением электропоездов ЭС2Г «Ласточка» на МЦК в автоматическом режиме //Железнодорожный транспорт. 2020. N°. 11. С. 5-11.
11. Расчет предельно измеряемой дальности лидара на беспилотном летательном аппарате для задач распознавания объектов/А. А. Ерин, А.Д. Хомоненко // Бюллетень результатов научных исследований. 2020. Вып. 2. С. 45-59. DOI: 10.20295/2223-9987-2020-2-45-59.