CONTROL SYSTEM FOR MOBILE AGROBOT BASED ON NEURAL NETWORK OBJECT DETECTION

Олександр Цомпель; Михайло Безуглий; Анджей Дзєрва

doi:10.20535/1970.70(2).2025.348019

Автор(и)

Олександр Цомпель Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» , Україна https://orcid.org/0009-0008-1772-9208
Михайло Безуглий Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» , Україна https://orcid.org/0000-0003-0624-0585
Анджей Дзєрва Rzeszów University of Technology , Польща https://orcid.org/0000-0003-4545-1748

DOI:

https://doi.org/10.20535/1970.70(2).2025.348019

Ключові слова:

агроробот, YOLOv8, Precision Agriculture 4.0, ESP32, Raspberry Pi, Computer Vision, PID-регулятор, Boustrophedon, FreeRTOS

Анотація

У роботі вирішується актуальна науково-технічна задача автоматизації процесів догляду за сільськогосподарськими культурами в контексті парадигми Precision Agriculture 4.0.

Метою дослідження є розробка архітектури та дослідження ефективності бюджетної кіберфізичної системи (CPS) для автономного моніторингу посівів та точкового фізичного знищення бур'янів у режимі реального часу. Це дозволяє мінімізувати використання хімічних гербіцидів, вирішуючи проблему резистентності шкідливих рослин та екологічного навантаження на ґрунти.

Авторами запропоновано та реалізовано дворівневу ієрархічну систему керування мобільним агророботом. Верхній рівень обчислень базується на одноплатному комп'ютері Raspberry Pi 4 Model B, який виконує задачі комп'ютерного зору та стратегічного планування. Для семантичної сегментації рослинного покриву обґрунтовано вибір нейромережевої архітектури YOLOv8 Nano.

Застосовано комплекс методів оптимізації для Edge-пристроїв: конвертацію моделі у формат ONNX та динамічне квантування ваг до формату INT8, що дозволило зменшити розмір моделі до 6 МБ та забезпечити стабільний інференс на CPU. Навчання мережі проводилося на датасеті з 10 000 зображень із використанням функції втрат, що комбінує метрику IoU, бінарну крос-ентропію та Distribution Focal Loss. Нижній рівень керування реалізовано на мікроконтролері ESP32 (архітектура Dual Core) під керуванням операційної системи реального часу FreeRTOS. Розроблено багатопотокове програмне забезпечення, що розділяє задачі комунікації, опитування інерціальних датчиків (IMU) та генерації ШІМ-сигналів.

Реалізовано дискретний PID-регулятор для стабілізації кутових швидкостей коліс платформи з диференціальним приводом, що нівелює похибки від проковзування на ґрунті. Взаємодія між рівнями здійснюється через UART-інтерфейс (115200 бод) за авторським протоколом на базі JSON. Для керування маніпулятором запропоновано метод прямого відображення координат (Direct Mapping), що виключає необхідність ресурсомістких обчислень оберненої кінематики. Результати польових випробувань підтвердили високу ефективність системи: досягнуто точність детекції mAP@0.5 на рівні 92.4% при середній швидкості обробки кадру 65–70 мс (14.5 FPS). Загальна затримка в контурі керування не перевищує 75 мс, а похибка позиціонування платформи становить ±2.5 см.

Енергетичний моніторинг показав споживання на рівні 18–22 Вт, що забезпечує до 60 хвилин автономної роботи.

Біографії авторів

Олександр Цомпель, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

Магістрант, ПБФ, Кафедра комп’ютерно-інтегрованих технологій виробництва приладів

Михайло Безуглий, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

Перший проректор, доктор технічних наук, професор

Кафедра комп’ютерно-інтегрованих технологій виробництва приладів

Анджей Дзєрва, Rzeszów University of Technology

DSc, PhD, проф., науковий співробітник

Кафедра виробничих процесів та виробничої інженерії

Посилання

S. G. Vougioukas, “Agricultural robotics,” Annu. Rev. Control Robot. Auton. Syst., vol. 2, pp. 365–392, 2019. DOI: 10.1146/annurev-control-053018-023617.

Y. Liu, X. Ma, L. Shu, G. P. Hancke, and A. M. Abu-Mahfouz, “From Industry 4.0 to Agriculture 4.0: Current status, enabling technologies, and research challenges,” IEEE Trans. Ind. Informatics, vol. 17, no. 6, pp. 4322–4334, 2021. DOI: 10.1109/TII.2020.3003910..

S. B. Powles and Q. Yu, “Evolution in action: Plants resistant to herbicides,” Annu. Rev. Plant Biol., vol. 61, pp. 317–347, 2010. DOI: 10.1146/annurev-arplant-042809-112119.

FAO, The Future of Food and Agriculture – Trends and Challenges. Rome, Italy: Food and Agriculture Organization of the United Nations, 2017.

R. R. Shamshiri, C. Weltzien, I. A. Hameed, I. J. Yule, T. E. Grift, and S. K. Balasundram, et al., “Research and development in agricultural robotics: A perspective of digital farming,” Int. J. Agric. Biol. Eng., vol. 11, no. 4, pp. 1–14, 2018. DOI: 10.25165/j.ijabe.20181104.4278.

A. Kamilaris and F. X. Prenafeta-Boldú, “Deep learning in agriculture: A survey,” Comput. Electron. Agric., vol. 147, pp. 70–90, 2018. DOI: 10.1016/j.compag.2018.02.016.

K. G. Liakos, P. Busato, D. Moshou, S. Pearson, and D. Bochtis, “Machine learning in agriculture: A review,” Sensors, vol. 18, is. 8, 2674, 2018. DOI: 10.3390/s18082674.

S. M. Hasan, F. Sohel, D. Diepeveen, H. Laga, and M. G. Jones, “Image-based weed detection: A survey of deep learning techniques,” Comput. Electron. Agric., vol. 184, 106067, 2021. DOI: 10.1016/j.compag.2021.106067.

J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” arXiv 1804.02767, 2018. DOI: 10.48550/arXiv.1804.02767.

J. Terven and D.-M. Córdova-Esparza, “A comprehensive review of YOLO architectures in computer vision,” Mach. Learn. Knowl. Extr., vol. 5, is. 4, pp. 1680–1716, 2023. DOI: 10.3390/make5040083.

A. Gholami, S. Kim, Z. Dong, Z. Yao, M. W. Mahoney, and K. Keutzer, “A survey of quantization methods for efficient neural network inference,” arXiv 2103.13630, 2021. DOI:10.48550/arXiv.2103.13630.

R. Siegwart, I. R. Nourbakhsh, and D. Scaramuzza, Introduction to Autonomous Mobile Robots, 2nd ed. Cambridge, MA, USA: MIT Press, 2011.

B. Siciliano, L. Sciavicco, L. Villani, and G. Oriolo, Robotics: Modelling, Planning and Control. London, U.K.: Springer, 2010. DOI: 10.1007/978-1-84628-642-1.

Texas Instruments, “LM2596 SIMPLE SWITCHER® power converter 150 kHz 3A stepdown voltage regulator,” Datasheet SNVS124G, 2023. [Online]. Available: https://www.ti.com/lit/ds/symlink/lm2596.pdf ; STMicroelectronics, “L298 — Dual full-bridge driver,” Datasheet CD00000240, 2016. [Online]. Available: https://www.st.com/resource/en/datasheet/l298.pdf .

Arduino, “Servo library,” Documentation. [Online]. Available: https://www.arduino.cc/reference/en/libraries/servo/.

G. Jocher, A. Chaurasia, and J. Qiu, “Ultralytics YOLOv8,” GitHub repository, 2023. [Online]. Available: https://github.com/ultralytics/ultralytics.

C.-Y. Wang, A. Bochkovskiy, and H.-Y. M. Liao, “YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2023, pp. 7464–7475. DOI:10.1109/CVPR52729.2023.00721.

X. Li, W. Wang, L. Wu, S. Chen, X. Hu, J. Li, and J. Yang, “Generalized focal loss: Learning qualified and distributed bounding boxes for dense object detection,” arXiv 2006.04388, 2020. DOI: 10.48550/arXiv.2006.04388.

M. Sokolova and G. Lapalme, “A systematic analysis of performance measures for classification tasks,” Inf. Process. Manag., vol. 45, is. 4, pp. 427–437, 2009. DOI: 10.1016/j.ipm.2009.03.002.

A. Binch and C. W. Fox, “Controlled comparison of machine vision algorithms for Rumex and Urtica detection in grassland,” Comput. Electron. Agric., vol. 140, pp. 123–138, 2017. DOI: 10.1016/j.compag.2017.05.018.