témavezető: Czúni László
helyszín (magyar oldal): Pannon Egyetem, Veszprém, Egyetem u. 10. helyszín rövidítés: PE
A kutatási téma leírása:
Bár a képi anomáliák detekciója egy meglehetősen régi problémaköre a képfeldolgozásnak, még több megoldatlan probléma van a rendhagyó mintázatok detekciójában, ha complex vagy 3D objektumokról van szó. Akár képi szegmensek statisztikai modelljeit [1], [2], mintaegyezést [3], [4], vagy lokális tulajdonságdetektorokat használunk, mind a megfelelő régiók detekcióján, szegmentálásán, vagy minta regisztrációján alapulnak, mivel a régiók pontos meghatározására szükség van a megfelelő modellek alkalmazása során. Másrészt ezeknek a terület-specifikus modelleknek a „betanítása” vagy a releváns anomáliák detekciója szintén problémás lehet, mivel sok esetben nem áll rendelkezésre minden anomália típusra mintaadat.
Az elmúlt években több új megközelítés jelent meg a számítógépes látás és képfeldolgozás területén a képek szegmentációjára és látens információk feldolgozására. Ún. autóenkoder hálózatok [5] alkalmazása képszegmentálásra, zajszűrésre [6] jó példái tipikus minták tanulásának vagy a zajszűrésnek. Új megoldása lehet az anomália detekciónak autóenkóderek alkalmazása, amelyek a legfontosabb tulajdonságok megtanulására és detekciójára képesek a hálózat dekódoló (D) számára (lásd ábra). Ezeket a tulajdonságokat az ún. bekódolók (E - encoder) állítják elő a hálózat szűkületi részében (a bekódoló és dekódoló között), és így egy visszaállított jelet kapunk:
.
Hipotézisünk szerint a különböző ismeretlen, azaz váratlan mintázatok nem fognak előállni az jelben, mivel a tanításkor sem voltak jelen. Azaz már betanított autóenkóderek alkalmazásával anomáliát tartalmazó képeken sikertelen lesz a rekonstrukció és megkapjuk a hibás területeket: . Azonban fontos tisztázni, hogy ez a megközelítés hogyan képes kezelni a bonyolult vizuális struktúrákat, takarásokat, vagy geometriai torzulásokat. A [7]-es cikkben ún. augmentált autóenkódereket javasoltak látens információ generálásra pózbecslésre. Azt tervezzük, hogy hasonló megközelítéseket fejlesztünk, de célunk nem pózbecslés, hanem látens információk kivonása, hogy anomália mentes mintákat tudjuk reprezentálni. Más, valamelyest hasonló megközelítés GAN (General Advesarial Networks) hálózatok alkalmazása. GAN-ok használata tanító adatok generálására szintén érdekes kérdéskör, mivel a GAN-ok is alkalmasak látens információ detekciójára és reprodukciójára [8]. A nézőpont és megvilágítás változásait, árnyékokat látens információként kezelve, elképzelhető, hogy megfelelő módszert tudunk készíteni tanítóképek generálására.
Kapcsolódó publikációk:
[1] R. Cogranne and F. Retraint, “Statistical detection of defects in radiographic images using an adaptive parametric model,” Signal Processing, vol. 96, pp. 173–189, 2014.
[2] M. Basseville and I. Nikiforov, “Fault isolation for diagnosis: nuisance rejection and multiple hypotheses testing,” IFAC Proceedings Volumes, vol. 35, no. 1, pp. 143–154, 2002.
[3] X. Zhou, Y. Wang, C. Xiao, Q. Zhu, X. Lu, H. Zhang, J. Ge, and H. Zhao, “Automated visual inspection of glass bottle bottom with saliency detection and template matching,” IEEE Transactions on Instrumentation and Measurement, vol. 68, no. 11, pp. 4253–4267, 2019.
[4] D. Buniatyan, T. Macrina, D. Ih, J. Zung, and H. S. Seung, “Deep learning improves template matching by normalized cross correlation,” arXiv preprint arXiv:1705.08593, 2017.
[5] V. Badrinarayanan, A. Kendall, and R. Cipolla, “Segnet: A deep convolutional encoder-decoder architecture for image segmentation,” IEEE transactions on pattern analysis and machine intelligence, vol. 39, no. 12, pp. 2481–2495, 2017.
[6] P. Vincent, H. Larochelle, I. Lajoie, Y. Bengio, and P.-A. Manzagol, “Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion,” Journal of machine learning research, vol. 11, no. Dec, pp. 3371–3408, 2010.
[7] M. Sundermeyer, Z.-C. Marton, M. Durner, M. Brucker, and R. Triebel, “Implicit 3d orientation learning for 6d object detection from rgb images,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 699–715.
[8] C. Donahue, Z. C. Lipton, A. Balsubramani, and J. McAuley, “Semantically decomposing the latent spaces of generative adversarial networks,” arXiv preprint arXiv:1705.07904, 2017.
felvehető hallgatók száma: 1
Jelentkezési határidő: 2020-09-30
2024. IV. 17. ODT ülés Az ODT következő ülésére 2024. június 14-én, pénteken 10.00 órakor kerül sor a Semmelweis Egyetem Szenátusi termében (Bp. Üllői út 26. I. emelet).
Bejelentkezés
