témavezető: Csapó Tamás Gábor
helyszín (magyar oldal): Távközlési és Médiainformatikai Tanszék helyszín rövidítés: TMIT
A kutatási téma leírása:
Az elmúlt években az agy-számítógép interfészek (Brain-Computer Inferface, BCI) fokozatosan előtérbe kerültek. Az agyi jelek rögzítésére ma már számos technológia rendelkezésre áll (pl. EEG, ECG, EMG). Amennyiben az agyi jel rögzítésével párhuzamosan beszédfelvétel is készül, lehetőség van a két modalitás együttes vizsgálatára. A korábbi ilyen irányú multimodális kutatások elsősorban az agyi jel alapú beszédfelismeréssel foglalkoztak, míg a beszédszintézis közvetlen módon, agyi jel alapján jelenleg nem megoldott. Ennek a témának számos területen gyakorlati haszna is lehet, pl. beszédsérültek, afáziás betegek kommunikációja során.
A kutatás során a doktorandusz feladata a legújabb deep learning módszerek használata, és a statisztikai parametrikus beszédszintézis módszertan alkalmazása (pl. generatív versengő hálózatok, reziduális és transzformer hálózatok, attention mechanizmus) az újszerű agy-beszéd közvetlen szintézis problémájának megoldásához. A kutatás során vizsgálandók a több-lépéses (agyi jel alapján spektrális paraméter becslés, majd a spektrális paraméterből beszédszintézis vokóderrel) és a közvetlen end-to-end módszer előnyei és hátrányai.
A lehetséges kutatási részfeladatok a következők:
- a kapcsolódó szakirodalom áttekintése, különös tekintettel az agyi jelek és a beszédtechnológiai módszerek kapcsolatára; a szabadon elérhető agyi jel & beszéd adatbázisok vizsgálata
- közvetlen agyi jel alapú beszédszintézis módszerek tervezése és implementálása, több-lépéses és end-to-end módszer összehasonlítása
- deep learning alapú agyi jel – beszéd konverziós módszerek kidolgozása és különböző neurális architektúrák (pl. reziduális és transzformer hálózatok, attention mechanizmus) összehasonlító elemzése
- az elméleti eredmények gyakorlati alkalmazhatóságának demonstrálása, közreműködés alkalmazói mintarendszerekben
- a kutatási eredmények validálása objektív és szubjektív kísérletek során
előírt nyelvtudás: Angol felvehető hallgatók száma: 1
Jelentkezési határidő: 2021-06-14
2024. IV. 17. ODT ülés Az ODT következő ülésére 2024. június 14-én, pénteken 10.00 órakor kerül sor a Semmelweis Egyetem Szenátusi termében (Bp. Üllői út 26. I. emelet).
Bejelentkezés
