Новый алгоритм распознавания объектов для роботов, занимающихся уборкой на солнце
Аккумулятор TROJAN T105
Китайская исследовательская группа из Университета Тарим разработала лёгкое в использовании решение для обнаружения объектов и распознавания их положения, которое можно использовать в роботах для очистки солнечных панелей.
Ученые из Таримского университета в Китае предложили способ решения сложной задачи распознавания положения фотоэлектрических панелей роботами для их очистки.
Их новое решение основано на маломощной версии модели You Only Look Once (YOLOv8) для задач по обнаружению объектов и компьютерному зрению. Другие версии YOLO были протестированы для применения в солнечной энергетике, например для обнаружения дефектов и проверки панелей.
По мнению исследователей, для эффективного использования роботов для очистки фотоэлектрических панелей требуется не только точное обнаружение объектов и распознавание их положения, но и низкое энергопотребление. В связи с этим возникают проблемы, связанные с машинным зрением: панели имеют разные углы наклона и ориентации, на изображение влияют окружающий свет, пыль и грязь, а также частичное перекрытие другими панелями
Команда предложила облегчённую модель распознавания поз на основе алгоритма обнаружения объектов You Only Look Once (YOLO) версии 8 nano (YOLOv8n). В ней говорится, что эта версия представляет собой «самый облегчённый вариант» в семействе алгоритмов машинного зрения и обнаружения объектов YOLOv8, поскольку в ней приоритет отдаётся эффективности и обработке в реальном времени, что позволяет использовать оборудование с низким энергопотреблением.
Работа подробно описана в статье «YOLOv8n‑PP: упрощённый алгоритм распознавания поз для робота, очищающего фотоэлектрические панели», опубликованной в Journal of Real-Time Image Processing.
Исследователи использовали «разнообразный и полный набор данных» о положении фотоэлектрических панелей, чтобы убедиться, что их метод демонстрирует «высокую эффективность обобщения» для различных условий. Набор данных под названием P-Pose состоял из изображений фотоэлектрических панелей, собранных на фотоэлектрической электростанции компании Jingke Technology в городе Алар, Китай.
Они объединили YOLOv8n с технологией машинного зрения Mobile-ViT, чтобы создать YOLOv8n-Photovoltaic-Pose (YOLOv8n-PP). По словам учёных, Mobile-ViT — это облегчённая версия Vision Transformer (ViT) на основе самовнимания для мобильных приложений. Сообщается, что ViT был разработан как альтернатива трансформеру на основе свёрточных нейронных сетей для повышения скорости логического вывода.
«Эта интеграция помогает смягчить последствия изменения положения цели с точки зрения мобильного робота», — говорят исследователи. Кроме того, они использовали регрессию ограничивающих рамок для повышения точности распознавания фотоэлектрических панелей, известную как потеря MPDIoU.
«Объединив YOLOv8n, Mobile-ViT и MPDIoU, мы предлагаем метод под названием YOLOv8n-Photovoltaic-Pose (YOLOv8n-PP), который использует сильные стороны этих компонентов для точного и эффективного распознавания поз при очистке фотоэлектрических элементов», — заявили они.
Для проверки обучающей модели использовался 64-разрядный компьютер с Windows 10, процессором Intel Xeon(R) Silver 4210R и графическим процессором NVIDIA GeForce RTX 3060Ti. В качестве языка программирования использовался Python 3.8, а для обучения сети — платформа глубокого обучения PyTorch 2.0.0.
Команда провела детальный анализ, сравнив свой метод YOLOv8-PP с несколькими другими версиями YOLO, и пришла к выводу, что предложенное ими решение показало «наилучшие результаты» по различным оценочным показателям. «Примечательно, что точность и полнота нашего подхода на 3,45 % и 5,78 % выше соответственно по сравнению с базовой моделью YOLOv8n», — говорится в сообщении.
Этот метод показал улучшение как точности, так и полноты, предоставив «эффективное решение для распознавания поз в виртуальной реальности». YOLOv8n-PP не только повышает точность обнаружения, но и улучшает стабильность.
Было отмечено, что камеру можно улучшить, чтобы она лучше справлялась с сильным перекрытием и высокой отражающей способностью.
Дальнейшие исследования предполагают внедрение YOLOv8-PP в робота для очистки фотоэлектрических панелей, проведение полевых испытаний и подключение дополнительных типов датчиков, например для инфракрасной визуализации, чтобы ещё больше повысить эффективность обнаружения моделью.