Estabilització de vídeo en temps real: Aplicacions en teleoperació de microvehicles aeris d’ala rotativa

Wilbert G. Aguilar Castillo

Data de lectura: 4 de setembre de 2015
Director de la tesi: Cecilio Angulo
Programa de doctorat: Universitat Politècnica de Catalunya, programa de doctorat en Automàtica, Robòtica i Visió.

http://www.tdx.cat/handle/10803/318589


Els microvehicles aeris (MAV), un subconjunt de vehicles aeris no tripulats (UAV), també anomenats drones, han guanyat popularitat en múltiples aplicacions i un creixent interès a causa dels seus avantatges com els costos de fabricació i manteniment, volum, pes del vehicle, consum energètic, i maniobrabilitat de vol.

L’habilitat requerida per un teleoperador de drones és inferior a la d’un pilot d’aeronaus de més dimensió; no obstant això, el seu procés d’entrenament pot durar diverses setmanes o inclús mesos, depenent de l’objectiu que es persegueixi. Aquest procés es complica quan el teleoperador no pot observar de forma directa el vehicle i depèn únicament dels sensors i càmeres a bord del sistema.

Uns dels principals problemes amb càmeres a bord dels drones és l’oscil·lació que es troba en els vídeos capturats. Aquest inconvenient és més complex per als MAV, perquè les pertorbacions externes els provoquen més inestabilitat. Hi ha dispositius mecànics d’estabilització de vídeo que redueixen les oscil·lacions en la càmera. Però aquests mecanismes impliquen una càrrega addicional al sistema i n’augmenten el cost de producció, la despesa energètica i el risc per a les persones que hi ha a prop en cas d’accident.

En aquesta tesi es proposa el desenvolupament d’algoritmes d’estabilització de vídeo per software, sense elements mecànics addicionals en el sistema, per ser utilitzats en temps real durant la navegació dels MAV. El MAV en el qual se centra l’interès és el quadrocòpter, un vehicle aeri amb una configuració de quatre ales rotatives. S’utilitza l’AR.Drone, un MAV de baix cost desenvolupat per l’empresa francesa Parrot de codi parcialment obert. L’AR.Drone pot ser controlat des d’un PC, laptop o dispositiu mòbil com smartphones o tablets. El seu SDK es troba disponible per als sistemes operatius Windows, Linux, Mac, Android i iOS. Addicionalment hi ha múltiples drivers de comunicació amb l’AR.Drone disponibles per ROS (Robot Operative System), que poden ser utilitzades amb Python, C++ o Java. L’estabilització de vídeo en la qual s’emmarca la investigació no requereix sincronització de la informació visual amb les dades inercials del vehicle, sinó que està orientat a ser una eina d’ajuda a la teleoperació i navegació; el conjunt d’imatges que es capturen i utilitzen, com a dades d’entrada, són de tipus monocular; el dispositiu de captura de la seqüència de fotogrames es troba onboard (a bord del MAV), i el processament de la informació es fa en una estació de terra externa des de la qual es teleopera el MAV.

El temps de processament de l’estabilització de vídeo ha estat minimitzat mitjançant la reducció del nombre d’iteracions de l’algoritme RANSAC i la utilització d’una combinació de transformacions geomètriques per compensar aquesta disminució i evitar comprometre la robustesa de l’algoritme.

S’ha detectat l’existència d’un fenomen no estudiat en la literatura, present en els algoritmes d’estabilització de vídeo, que es genera en la fase de suavització del moviment durant el procés d’estabilització de vídeo, i al qual s’ha anomenat moviments fantasma. L’impacte d’aquest fenomen és considerable durant la teleoperació dels MAV.

S’han proposat dos enfocaments capaços de minimitzar l’efecte del fenomen dels moviments fantasma:

- El primer, independentment del model de la plataforma robòtica, requereix un conjunt de fotogrames previs que generen un retard addicional en el procés d’estabilització de vídeo.

- El segon que, tot i que depèn del modelatge previ de la plataforma sobre la qual es troba el dispositiu de captura, redueix la dependència de fotogrames previs únicament a l’últim fotograma. El modelatge dels MAV es basa en 3 conjunts de dades: (a) dades inercials provinents de la IMU de l’AR.Drone, (b) accions de control generades per l’usuari durant la captura de dades i (c) la informació visual capturada per la càmera a bord de la plataforma aèria.

Ambdues propostes estan orientades a minimitzar el temps d’entrenament dels teleoperadors, i són capaces d’obtenir una imatge estable i, simultàniament, mantenir els moviments reals. S’han fet múltiples experiments amb els MAV i la mètrica d’avaluació utilitzada evidencia el bon resultat de l’algoritme introduït.

 

Comparativa entre el vídeo original (superior) i el vídeo estabilitzat (inferior).

Imprimir | Convertir en PDF | Compatir | Sense comentaris