Sztuczna inteligencja wychwyci seplenienie? To możliwe!

Dr inż. Zuzanna Miodońska to młoda naukowczyni z Wydziału Inżynierii Biomedycznej Politechniki Śląskiej, która w tym roku została stypendystką Fundacji na rzecz Nauki Polskiej w konkursie START 2023. Otrzymała także Stypendium im. Barbary Skargi za „odważne przekraczanie granic pomiędzy różnymi dziedzinami nauki, otwierając nowe perspektywy badawcze i tworząc nowe wartości w nauce”.

Jak mówiła w rozmowie z Nauką w Polsce, podstawą badania logopedycznego jest rozmowa i obserwacja pacjenta, a logopeda stawia diagnozę bazując na swojej wiedzy i swoim doświadczeniu. „Czasem o stwierdzeniu wadliwej wymowy świadczą szczegóły, np. nieprawidłowe napięcie mięśni czy ledwo słyszalny szelest, dlatego potrzebne jest stworzenie obiektywnego narzędzia pomiarowego, które mogłoby wspierać logopedów w ich codziennej pracy” – wskazała Miodońska.

AI przyczyni się do opracowania narzędzi wspomagających diagnostykę i terapię logopedyczną

Badania prowadzone w zespole, do którego należy, dotyczą wykorzystania nowych technologii – w szczególności przetwarzania sygnałów i sztucznej inteligencji – do opracowania narzędzi wspomagających diagnostykę i terapię logopedyczną.

„Koncentrujemy się na analizie sygnału mowy i obrazu wideo twarzy dzieci przedszkolnych, aby zbadać, jak wymawiają sybilanty, czyli dźwięki oznaczone literami: s, z, c, dz, sz, ż, cz, dż, ś, ź, ć, dź. Ich wadliwa wymowa nazywana jest zazwyczaj seplenieniem” – tłumaczyła.

Wyzwaniem badawczym jest zatem „przekodowanie” sygnału akustycznego mowy i obrazu wideo na odpowiedź, czy dziecko ma problem z zaburzeniem mowy, czy nie.

Naukowczyni skupiła się na głoskach: „sz” i „ż” – jednych z najtrudniejszych głosek dla dzieci, które w naturalnym procesie rozwoju mowy pojawiają się jako jedne z ostatnich.

„Wyznaczyłam konkretne cechy sygnału akustycznego, które wiążą się z nieprawidłową wymową tych dwóch głosek. Dobór odpowiednich cech nie jest zadaniem prostym, ale zdecydowanie kluczowym, ponieważ w sygnale mowy mamy zakodowanych mnóstwo informacji, m.in. samą treść przekazu, ale i cechy osobowe (barwę głosu, na podstawie której można np. określić płeć) czy nasze emocje, a algorytm potrzebuje jasnej i klarownej informacji, czego ma szukać” – opowiadała.

Miodońska dodała jednak, że rozwój prawidłowej mowy u dziecka jest złożonym procesem. „Musimy pamiętać, że pewne odstępstwa od docelowej, dorosłej wymowy są normalne w pewnych etapach rozwoju dziecka – to przykładowo zamiana „sz” na „s”. Nie mówiąc o tym, że u dzieci nawet prawidłowa mowa jest zróżnicowana, a i ta sama wada wymowy może brzmieć różnie u różnych dzieci. Dzieci nie zawsze mówią tak samo, dużo zależy od ich samopoczucia czy sytuacji, w której się znajdują. Dlatego jednym z największych wyzwań w naszych badaniach jest zebranie możliwie reprezentatywnych i zróżnicowanych danych” – powiedziała.

W kolejnym kroku Miodońska chce przeanalizować, czy ten sam zestaw cech sprawdzi się również w innych głoskach należących do tzw. sybilantów.

Zuzanna Miodońska należy do zespołu dr. hab. inż. Pawła Badury, prof. PŚ, który kieruje projektem pn. „Hybrydowy system akwizycji i przetwarzania sygnału wielomodalnego w analizie sygmatyzmu u dzieci”, finansowanym ze środków NCN.

„Jesteśmy już na finiszu tego projektu, w którym opracowywaliśmy koncepcję stanowiska pomiarowego (urządzenia) do mierzenia sygnałów akustycznych i wideo. Nasz prototyp przypomina kask i jest wyposażony w mikrofony i kamery. Zebraliśmy dane od ponad 200 dzieci, które połączyliśmy z opisem logopedycznym. Teraz realizujemy jeszcze analizy, aby powiązać dane logopedyczne z sygnałami zbieranymi w czasie nagrania i tak zaprojektować cały łańcuch przetwarzania danych, by dawał powtarzalne i miarodajne wyniki” – podsumowała.