Μοντέλα Vision-Language-Action για αυτόνομο έλεγχο drones

Abstract

Η παρούσα πτυχιακή εργασία ασχολείται με την ανάπτυξη ενός ολοκληρωμένου συστήματος αυτόνομης πτήσης drone, το οποίο βασίζεται στη συνεργασία ενός Vision-Language-Action (VLA) μοντέλου με το περιβάλλον του ROS και τον αυτόματο πιλότο PX4. Στόχος της εργασίας είναι η δημιουργία ενός πλαισίου όπου το drone μπορεί να αντιλαμβάνεται το περιβάλλον του μέσω κάμερας, να κατανοεί εντολές σε φυσική γλώσσα και να εκτελεί αντίστοιχες κινήσεις χωρίς ανθρώπινη παρέμβαση. Για την επίτευξη αυτού του στόχου, αναπτύχθηκε ένας ROS bridge που λειτουργεί ως ενδιάμεσος κόμβος επικοινωνίας μεταξύ του VLA server και του drone. Ο κόμβος αυτός λαμβάνει τα δεδομένα εικόνας από το σύστημα πλοήγησης, τα αποστέλλει στον server όπου λειτουργεί το VLA μοντέλο, και στη συνέχεια λαμβάνει πίσω τις υπολογισμένες εντολές πτήσης. Οι εντολές αυτές μετατρέπονται αυτόματα σε σήματα ελέγχου ταχύτητας μέσω MAVROS, επιτρέποντας την επικοινωνία με τον PX4 και την εκτέλεση των εντολών σε πραγματικό χρόνο. Μέσω της συγκεκριμένης αρχιτεκτονικής επιτεύχθηκε η αυτόνομη πτήση του drone μέσα από καθορισμένες πύλες, σύμφωνα με προκαθορισμένες εντολές που έχουν ενσωματωθεί στον κώδικα, όπως η εντολή "Fly through the gate". Το σύστημα κατάφερε να επεξεργάζεται τα δεδομένα εικόνας, να αντιστοιχεί τις εντολές σε ενέργειες και να ελέγχει το drone με σταθερό και προβλέψιμο τρόπο. Η εργασία αυτή αποδεικνύει στην πράξη τη δυνατότητα ενσωμάτωσης προηγμένων μοντέλων τεχνητής νοημοσύνης σε συστήματα μη επανδρωμένων αεροσκαφών, προσφέροντας ένα σημαντικό βήμα προς την κατεύθυνση της φυσικής αλληλεπίδρασης ανθρώπου και μηχανής. Το αποτέλεσμα είναι ένα ευέλικτο και επεκτάσιμο σύστημα, το οποίο μπορεί να αποτελέσει τη βάση για μελλοντικές εφαρμογές αυτόνομης πλοήγησης και ελέγχου UAV.