Témakiírások
Mesterséges intelligencia rendszerek formális verifikációja
témakiírás címe
Mesterséges intelligencia rendszerek formális verifikációja
intézmény
doktori iskola
témakiíró
tudományág
témakiírás leírása
Az MI rendszerek „feketedoboz” természete miatt nehéz azt biztosítani, hogy ezek a rendszerek megfeleljenek olyan kritikus követelményeknek, mint a biztonságosság, a robusztusság és a pártatlanság (fairness). Ez a PhD téma olyan gyakorlatban alkalmazható és skálázható formális verifikációs technikák kidolgozását tűzi ki célul, melyeket MI rendszerek szigorú elemzésére használhatunk, korszerű formális módszerek — többek között SMT megoldók, vegyes egészértékű lineáris programozás (MILP), absztrakt interpretáció és elérhetőségelemzés — ötvözésével. A projekt egyik fő része prototípus szoftverek fejlesztése vagy meglévő nyílt forráskódú verifikálók (például Marabou, α,β-CROWN, ERAN) bővítése, valamint ezek tesztelése olyan domének valós neurális hálózati benchmarkjain, mint az autonóm rendszerek, az orvosi diagnosztika vagy a kritikus infrastruktúrák felügyelete. A kutatás eredményeképpen olyan új algoritmusokat dolgozunk ki, amelyek csökkentik a nagy hálózatok verifikációjának számítási igényét, keretrendszereket fejlesztünk tovább bizonyos formális tulajdonságok specifikálására, valamint gyakorlati útmutatókat adunk a formális verifikációnak az MI fejlesztésének folyamatába való integrálásához.
Irodalom:
• Huang, C., Fan, J., Li, W., Chen, X., Zhu, Q. ReachNN: Reachability Analysis of Neural-Network Controlled Systems. ACM Trans. Embed. Comput. Syst. 18(5s), 106 (2019). https://doi.org/10.1145/3358228
• Ivanov, R., Carpenter, T., Weimer, J., Alur, R., Pappas, G., Lee, I. Verisig 2.0: Verification of Neural Network Controllers Using Taylor Model Preconditioning. In: Computer Aided Verification (CAV 2021). Lecture Notes in Computer Science 12759, pp. 249-262 (2021), https://doi.org/10.1007/978-3-030-81685-8_11
• Fischer, M., Sprecher, C., Dimitrov, D.I., Singh, G., Vechev, M. Shared Certificates for Neural Network Verification. In: Computer Aided Verification (CAV 2022). Lecture Notes in Computer Science 13371, pp. 127-148 (2022). https://doi.org/10.1007/978-3-031-13185-1_7
• Bassi, P.R.A.S., Dertkigil, S.S.J., Cavalli, A. Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization. Nat Commun 15, 291 (2024). https://doi.org/10.1038/s41467-023-44371-z
• Ferrarim C, Mueller, M.N., Jovanovic, N., Vechev, M. Complete Verification via Multi-Neuron Relaxation Guided Branch-and-Bound. In: International Conference on Learning Representations (ICLR 2022). 2022. https://doi.org/10.48550/arXiv.2405.21063
Irodalom:
• Huang, C., Fan, J., Li, W., Chen, X., Zhu, Q. ReachNN: Reachability Analysis of Neural-Network Controlled Systems. ACM Trans. Embed. Comput. Syst. 18(5s), 106 (2019). https://doi.org/10.1145/3358228
• Ivanov, R., Carpenter, T., Weimer, J., Alur, R., Pappas, G., Lee, I. Verisig 2.0: Verification of Neural Network Controllers Using Taylor Model Preconditioning. In: Computer Aided Verification (CAV 2021). Lecture Notes in Computer Science 12759, pp. 249-262 (2021), https://doi.org/10.1007/978-3-030-81685-8_11
• Fischer, M., Sprecher, C., Dimitrov, D.I., Singh, G., Vechev, M. Shared Certificates for Neural Network Verification. In: Computer Aided Verification (CAV 2022). Lecture Notes in Computer Science 13371, pp. 127-148 (2022). https://doi.org/10.1007/978-3-031-13185-1_7
• Bassi, P.R.A.S., Dertkigil, S.S.J., Cavalli, A. Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization. Nat Commun 15, 291 (2024). https://doi.org/10.1038/s41467-023-44371-z
• Ferrarim C, Mueller, M.N., Jovanovic, N., Vechev, M. Complete Verification via Multi-Neuron Relaxation Guided Branch-and-Bound. In: International Conference on Learning Representations (ICLR 2022). 2022. https://doi.org/10.48550/arXiv.2405.21063
helyszín
ITDI
jelentkezési határidő
2026-01-15