Ученые из Сколтеха разработали систему мониторинга для сельского хозяйства, позволяющую производить сегментацию изображения в режиме реального времени на борту БПЛА и идентифицировать борщевик.
Сколтех
# беспилотники
# борщевик
# Ландшафт
# растения
# сельское хозяйство
Борщевик Сосновского / ©Getty images
Результаты исследования опубликованы в авторитетном научном журнале IEEE Transactions on Computers. Борщевик Сосновского – это вредоносное растение, представляющее опасность для сельского хозяйства, местных экосистем, а также для здоровья человека. Сок растения, попадая на кожу, под действием солнечных лучей вызывает сильнейшие ожоги, лечение которых возможно лишь под пристальным наблюдением врачей в течение нескольких недель.
На данный момент распространение борщевика Сосновского стало настоящей экологической катастрофой – он распространился от центральной части России до Сибири, от Карелии до Кавказа. Ежегодно власти страны выделяют колоссальные суммы на борьбу с борщевиком — в 2020 году только в Москве было выделено 350 миллионов рублей. Таким образом, борьба с борщевиком является одним из важнейших вопросов современного отечественного сельского хозяйства, экологии и здравоохранения.
В середине ХХ века борщевик планировалось применять в качестве кормовой культуры для скота в связи с высокой скоростью роста растения, его неприхотливостью и быстрым распространением. Однако очень быстро выяснилось, что борщевик не подходит в качестве корма, а его исключительные природные свойства являются серьезной проблемой. Всего лишь одно растение способно давать до 100 тысяч семян в год, которые могут распространяться с помощью ветра. А это означает, что даже одно растение, пропущенное при очистке территории от борщевика, способно свести на нет результаты всей работы.
Именно с задачей точной локализации борщевика Сосновского в реальном времени и столкнулись ученые Сколтеха из Центра по научным и инженерным вычислительным технологиям для задач с большими массивами данных два года назад, когда приступили к разработке платформы для мониторинга. «Традиционные методы мониторинга недостаточно эффективны – наблюдение с земли слишком сильно зависит от человеческого фактора, а космическое зондирование хорошо подходит лишь для распознавания больших зарослей.
Снимки со спутников имеют недостаточное разрешение, чтобы распознать отдельные растения, а зависимость от погоды и кратности орбиты делают такой метод непрактичным для получения наиболее актуальной информации», – рассказывает первый автор исследования, выпускник аспирантуры Сколтеха Александр Меньщиков.
Входное изображение (слева) и результат работы предложенной полностью сверточной нейронной сети (справа) / ©Пресс-служба Сколтеха
Исследователи приняли решение использовать БПЛА, которые позволяют получить самую свежую информацию о распространении растения с высоким разрешением даже когда небо затянуто облаками, а также отказаться от традиционной концепции «сбор данных – создание ортофотоплана – анализ полученного изображения» в пользу обработки данных аэрофотосъёмки прямо на борту БПЛА во время полета.
«Пусть традиционный подход и дает наиболее исчерпывающую информацию об исследуемой территории, но его эффективность сравнима с обработкой данных на борту для сегментации одного типа объектов – борщевика Сосновского. Кроме того, традиционный метод требует еще несколько часов для сшивки изображения и его анализа после окончания полета, в то время как обработка на борту происходит во время полета, а оператор получает данные о местоположении борщевика в реальном времени на базовой станции.
Такой подход позволяет приступить к работам по уничтожению борщевика еще до завершения полета БПЛА, а к концу полета оператор уже располагает всеми данными о местоположении всех растений на обследуемой территории», – поясняет Александр. Создание такого рода системы мониторинга подразумевает использование БПЛА и компактного вычислительного устройства на борту, которое способно запускать «тяжеловесные» алгоритмы сегментации на основе так называемых полностью сверточных нейронных сетей (FCNN – Fully Convolutional Neural Networks).
Такие нейронные сети позволяют выделять интересующие объекты (в данном случае – борщевик Сосновского) неправильной формы с точностью до пикселя, что в задаче детектирования борщевика даст возможность с точностью распознавать отдельные растения и, тем самым, увеличить шансы уничтожения сорняка на выбранной территории.
Ортофотоплан с отмеченными на нем районами произрастания борщевика (ярко зелёным цветом) / ©Пресс-служба Сколтеха
Главной проблемой при реализации проекта оказался запуск полностью сверточных нейронных сетей на маломощных системах, таких как одноплатные компьютеры. Далеко не каждый компьютер имеет достаточно вычислительных ресурсов и далеко не каждый процессор поддерживает операции, необходимые для запуска FCNN. Поэтому ученым пришлось подобрать подходящую архитектуру одноплатного компьютера и оптимизировать нейронную сеть, чтобы она смогла запуститься на нем.
«В качестве нейронных сетей для исследования были выбраны популярные архитектуры UNet, SegNet, ResNet и модифицированы для использования на одноплатном компьютере. Разработанная система мониторинга была смонтирована на борт БПЛА и исследована в полете. В результате удалось добиться обследования территории до 28 Га в течение 40 минут при полете на высоте десяти метров. При этом ни одно растение не было пропущено», – комментирует старший преподаватель Сколтеха Андрей Сомов, научный руководитель проекта.
«Пусть на данный момент скорость обработки 4К изображения нашей системой не очень высок – до 0,7 кадров в секунду, однако и при таких показателях система позволяет в несколько раз повысить эффективность локализации вредоносных растений», – добавляет Андрей Сомов.
Подход, лежащий в основе системы мониторинга, имеет огромный потенциал для сельского хозяйства. Разработку Сколтеха можно будет использовать для мониторинга других культур, в том числе с помощью мультиспектральной съемки для выявления различных вегетативных показателей, оценки здоровья и наличия болезней растений.
Проект по идентификации борщевика – комплексное исследование, над которым трудились магистры, аспиранты и сотрудники трех центров Сколтеха: Центра по научным и инженерным вычислительным технологиям для задач с большими массивами данных, Центра по проектированию, по производственным технологиям и материалам и Космического центра – Александр Меньщиков, Дмитрий Шадрин, Виктор Прутьянов, Даниил Лопаткин, Сергей Соснин, Евгений Цыкунов, Евгений Яковлев и Андрей Сомов.
Источник: