Image processing from unmanned aerial vehicle using modified YOLO detector

Abstract

Identifying objects from drone images is a state-of-the-art task for artificial neural networks. Since drones are always moving at different altitudes, the scale of the object varies greatly, making it difficult to optimize the networks. Moreover, flying at high speeds and low altitudes leads to blurred images of densely populated objects during movement, which is a problem when solving the problem of recognizing and classifying small sized objects. This paper addresses the above problem solutions and solves them by applying an additional prediction model to identify objects of different scales. We also modify the loss function to penalize larger objects more and vice versa to encourage recognition of smaller objects. To achieve improvements, we use advanced techniques such as multiscale testing, image blurring, object rotation, and data distortion. Experiments with a large data set show that our model has good performance in drone images. Compared to the baseline model (YOLOv5), our model shows significant improvements in object recognition and classification.

Ідентифікація об’єктів із зображенням дронів – одне з найсучасніших завдань для штучних нейронних мереж. Оскільки дрони завжди переміщуються на різній висоті, масштаб об’єкта сильно варіюється, що ускладнює оптимізацію мереж. Більше того, політ на великих швидкостях і малих висотах призводить до нечіткого зображення густонаселених об’єктів під час руху, що є проблемою під час вирішення завдання розпізнавання та класифікації невеликих за розміром об’єктів. У статті розглядаються розв’язання вищевказаних проблем і вони вирішуються шляхом застосування додаткової моделі прогнозування для ідентифікації об’єктів різного масштабу. Ми також модифікуємо функцію втрат, щоб більші об'єкти ставити в невигідне становище і навпаки, щоб стимулювати розпізнавання дрібніших об'єктів. Щоб досягти покращень, використовуємо передові методи, такі як багатомасштабне тестування, розмиття зображення, поворот об’єкта та спотворення даних. Експерименти з великим набором даних показують, що розглянута модель добре працює на зображеннях дронів. Порівняно з базовою моделлю (YOLOv5) розглянута модель демонструє значні покращення у розпізнаванні та класифікації об’єктів.