Nemverbális beszédfeldolgozás

Szegedi Tudományegyetem

Informatika Doktori Iskola

Gosztolya Gábor

informatikai tudományok

Az elmúlt egy évtizedben a beszédtechnológia területén belül hangsúlyosabbá vált a beszéd nemverbális tartalmának elemzése. Bár néhány ide tartozó feladat (pl. a beszélő érzelmeinek meghatározása vagy a spontán beszédben előforduló nevetések azonosítása) már korábban is intenzíven kutatottnak számított, a beszédtechnológiai közösség azonban csak az utóbbi időben kezdett a nemverbális beszédelemzésre mint önálló alterületre tekinteni. Ennek során egyrészt publikusan elérhető adatbázisok készültek különböző feladatokra, másrészt az évek során fokozatosan standardizálódtak a kiértékelés módozatai, és jelentek meg általános eljárások, akusztikus jellemzőkészletek. A kutatási terület így két nagyobb terület határán fekszik: a felhasznált jellemzőkészletek a beszédfelismerésben használt jellemzőkre építenek, ugyanakkor megjelenik a felvételszintű összesítés, és a gépi tanulási lépés élesen elválik a beszédfelismerésben általánosan alkalmazottól, inkább általános gépi tanulási technikákat alkalmaz. Ez sokszor abban is megjelenik, hogy általánosabb, beszédfelismerésre vagy beszélőfelismerésre tanított mély neurális modellekből nyert beágyazásokat (embedding) használunk jellemzőként. További kihívást jelent a változó akusztikai környezettel szembeni robosztusság (pl. olyan jellemzők kiszámítása, melyek megbízhatóan működnek különféle háttérzaj vagy visszhang esetén is).

A jelentkező feladata megismerni a területen széleskörűen használt eljárásokat, új eljárásokat és jellemzőket megvalósítani, ezek hatékonyságát megmérni az egyetemen rendelkezésre álló adatbázisokon, és publikálni az elért eredményeket.

1 fő

SZTE

2026-05-31