Sebők-Tornai Bence

Több képből szintetizált, adaptív mélységi térkép előállítási módszerek

Pannon Egyetem

Informatikai Tudományok Doktori Iskola

Czúni László

Várady Géza

társ

PhD

Ipari alkalmazásokban egyre több területen használnak drónokat. Ezeket az eszközöket legtöbbször vagy pilóta irányítja, vagy valamilyen automatizmus GPS-es navigáció segítségével vezeti végig a nyomvonalon. Ezen túl számos alkalmazás megkívánja, hogy nem ismert, GPS jel nélküli zárt vagy leárnyékolt környezetben végezzen el a drón feladatokat, mint navigáció, ütközéselkerülés, felvételek készítése a helyszínről, a keresett vagy valamilyen szempontból érdekes objektumok pontosabb felmérése. Ezeket a feladatokat külön-külön célszenzorok és megoldások támogathatják, jellemzően az adott feladatra kiélezve. Ilyen eszközök az ultrahangos érzékelők, ToF-szenzorok [1], kamerák. A tér-információk kinyerésére az irodalomban fellelhető megoldások jellemzően ezekre építenek, illetve ”structure-from-motion”, fókusz alapú mélységérzékelő [2,3,4] és fotogrammetriás [5] megoldásokat alkalmaznak, amikbe jellemzően neurális hálózatokat is bevonnak [6,7,8]. A drónos megoldások egyik érzékeny pontja a repülési idő, amely fordított arányban áll a hordozott teherrel, így az extra szenzorok és a számítógép platform méretét és súlyát korlátozni célszerű, egyébként távoli szolgáltatásokat kell felhasználni, ami valójában nem jelent teljesen autonóm működést [9]. Az elektronika fejlődésével egyre több kisméretű, vezérelhető szenzor kerül piacra, amely alkalmas lehet drónon való felhasználásra. Ezek között olyan kisméretű kamerák is megjelennek, amelyek fókuszálása elektronikusan szabályozható, lehetővé téve a mélység alapú távolságszámítás gyors kivitelezését. A feladatban drónokon hordozható, kisméretű kamerával vagy kamerákkal megvalósított adaptív mélységi térkép előállítására alkalmas módszer kidolgozását tűzzük ki, ahol a mélységi térkép paraméterei dinamikusan állíthatóak a környezet adottságai szerint (pl. távolsági viszonyok), valamint a rendszer alkalmas lehet további képfelvételezési feladatokra is. Így olyan megoldás jöhet létre, amely képes ötvözni más monokuláris módszerekben használt optikai folyam [10], tanult mélység és fókusz alapú megoldásokat, miközben a felhasznált számítási kapacitás relatív alacsony marad. A kutatási téma előzményei az alábbi közleményekben találhatóak [1] Masiero, A., Sofia, G., and Tarolli, P.: QUICK 3D WITH UAV AND TOF CAMERA FOR GEOMORPHOMETRIC ASSESSMENT, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLIII-B1-2020, 259–264, https://doi.org/10.5194/isprs-archives-XLIII-B1-2020-259-2020, 2020. [2] S. Suwajanakorn, C. Hernandez and S. M. Seitz, "Depth from focus with your mobile phone," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 2015, pp. 3497-3506 [3] Shariq Farooq Bhat, Ibraheem Alhashim, Peter Wonka, ”AdaBins: Depth Estimation Using Adaptive Bins”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 4009-4018 [4] Won, Changyeon and Hae-Gon Jeon. “Learning Depth from Focus in the Wild.” European Conference on Computer Vision (2022). [5] Kathrin Maier, Andrea Nascetti, Ward van Pelt, Gunhild Rosqvist, Direct photogrammetry with multispectral imagery for UAV-based snow depth estimation, ISPRS Journal of Photogrammetry and Remote Sensing, Volume 186, 2022, Pages 1-18, ISSN 0924-2716 [6] Carrio, A., Tordesillas, J., Vemprala, S., Saripalli, S., Campoy, P., & How, J. P. (2020). Onboard detection and localization of drones using depth maps. IEEE Access, 8, 30480-30490. [7] Madhuanand, L., Nex, F., & Yang, M. Y. (2021). Self-supervised monocular depth estimation from oblique UAV videos. ISPRS Journal of Photogrammetry and Remote Sensing, 176, 1-14. [8] Florea, H., & Nedevschi, S. (2022, September). Survey on Monocular Depth Estimation for Unmanned Aerial Vehicles using Deep Learning. In 2022 IEEE 18th International Conference on Intelligent Computer Communication and Processing (ICCP) (pp. 319-326). IEEE. [9] Steenbeek, A., & Nex, F. (2022). CNN-based dense monocular visual SLAM for real-time UAV exploration in emergency conditions. Drones, 6(3), 79. [10] Shimada T, Nishikawa H, Kong X, Tomiyama H. Fast and High-Quality Monocular Depth Estimation with Optical Flow for Autonomous Drones. Drones. 2023; 7(2):134.

2023-09-01

2027-08-01

folyamatban lévő

Több képből szintetizált, adaptív mélységi térkép előállítási módszerek