Репортаж от Wedoany，Команда профессора Чжан Мань из Колледжа информатики и электротехники Китайского сельскохозяйственного университета опубликовала исследовательскую статью в журнале «Engineering» Академии инженерных наук Китая под названием «Multimodal Feature Representation Mechanism for 3D Detection of Agricultural Obstacles with Few or Zero Samples» (китайский перевод: Механизм мультимодального представления признаков для трёхмерного обнаружения сельскохозяйственных препятствий с малым количеством образцов и без образцов). Данное исследование, ориентированное на потребности безопасного восприятия полевых препятствий для автономной навигации интеллектуальной сельскохозяйственной техники, предлагает метод трёхмерного обнаружения сельскохозяйственных препятствий с малым количеством образцов и без образцов на основе механизма мультимодального представления признаков, что открывает новые пути для безопасной и надёжной автономной работы сельскохозяйственной техники в неструктурированной полевой среде. Журнал «Engineering», основанный Академией инженерных наук Китая в 2015 году, индексируется в базах SCI, EI, Scopus и других, его последний импакт-фактор SCI составляет 12,2, и он занимал первое место среди журналов в области комплексной инженерии мира.
Автономная навигация сельскохозяйственной техники является важной опорой интеллектуализации сельскохозяйственного оборудования, а безопасное восприятие препятствий в сложной полевой среде — ключом к обеспечению надёжной работы автономных операций. В последние годы методы глубокого обучения, объединяющие данные камер и лидаров, достигли значительного прогресса в трёхмерном обнаружении препятствий, однако такие методы обычно зависят от крупномасштабных размеченных обучающих данных. Полевые сцены характеризуются неструктурированностью, ярко выраженными сезонными различиями и сложностью типов препятствий, что приводит к высоким затратам на сбор и разметку мультимодальных данных. Обобщающая способность моделей в условиях малого количества образцов или даже без образцов остаётся основной проблемой, сдерживающей их практическое применение.
Предложенный исследовательской группой механизм мультимодального представления признаков интегрирует корректор позы изображения и облака точек, используя информацию о позе, предоставляемую спутниковой навигационной системой «Бэйдоу» и инерциальным измерительным блоком, для коррекции отклонений позы образцов, вызванных пересечённой местностью поля, что повышает точность, надёжность и согласованность мультимодальных данных. Одновременно созданы кодировщик семантических признаков, кодировщик геометрическо-интенсивностных признаков и декодер пространственного слияния в виде с высоты птичьего полёта, которые объединяют семантическую информацию изображения с геометрической и интенсивностной информацией облака точек в единое пространство представления семантики, геометрии и интенсивности, захватывая ключевые взаимосвязи между категориями и повышая способность модели распознавать новые типы препятствий в условиях ограниченной разметки.
Группа провела полевые испытания на экспериментальной станции Чжочжоу Китайского сельскохозяйственного университета, охватывающие типичные сцены работы сельскохозяйственной техники, такие как бетонные дороги, невозделанные земли и пшеничные поля, и собрала мультимодальные данные типичных препятствий, включая комбайны, тракторы и людей. Результаты показали, что предложенный метод достигает хорошего баланса между производительностью обнаружения, эффективностью работы и зависимостью от данных, позволяя снизить зависимость модели от обучающих образцов на 30–40%. При полной настройке обучения точность, полнота, F1-мера и скорость обнаружения достигли 95,03%, 97,01%, 96,01% и 16,56 FPS соответственно. В сценарии без образцов, когда категория препятствий не имеет соответствующих обучающих образцов, предложенный метод всё равно достиг F1-меры 81,63%.
Данный результат способствует снижению зависимости трёхмерного обнаружения препятствий в сложной сельскохозяйственной среде от крупномасштабных размеченных данных, повышает способность безопасного восприятия интеллектуальной сельскохозяйственной техники в условиях неизвестных препятствий, сложного рельефа и множества категорий целей, обеспечивая техническую поддержку для автономной навигации, динамического уклонения от препятствий и надёжной работы интеллектуального сельскохозяйственного оборудования.
Статья выполнена в сотрудничестве с Китайским сельскохозяйственным университетом, Пекинским лесотехническим университетом, Исследовательским институтом CRRC и другими организациями. Китайский сельскохозяйственный университет является первым аффилированным учреждением, профессор Чжан Мань — ответственным автором статьи, а Ван Тяньхай, магистрант 2021 года набора и лауреат премии за лучшую магистерскую диссертацию университета 2024 года, — первым автором. Исследование поддержано Национальной ключевой программой исследований и разработок (2022YFD2001600-2022YFD2001601). По приглашению журнала «Engineering» профессор Чжан Мань 30 июня 2026 года приняла участие в специальной лекции «Сельскохозяйственные датчики» в рамках Engineering Lecture Hall, где представила результаты данного исследования онлайн.
