DETERMINANTY JAKOŚCI
Determinanty jakości brzmieniowej w algorytmach syntezy mowy, opartych na modelowaniu sztucznej inteligencji z perspektywy reżyserii dźwięku jako dyscypliny artystycznej w dziedzinie sztuk muzycznych
dr hab. Katarzyna Dzida-Hamela, prof. UMFC
dr hab. Jacek Hamela, prof. UŚ
Współczesne algorytmy syntezy mowy, oparte na modelach uczenia maszynowego i głębokich sieciach neuronowych, stanowią jedno z najbardziej dynamicznie rozwijających się pól badań nad dźwiękiem w kontekście sztucznej inteligencji. Efekt końcowy procesu syntezy nie jest jednak rezultatem wyłącznie obliczeń statystycznych czy struktury samego modelu. W decydujący sposób kształtują go parametry materiału referencyjnego, na podstawie którego trenowany jest algorytm. Jakość tego materiału oraz jego charakterystyka brzmieniowa i artykulacyjna wyznaczają granice realizmu, ekspresji oraz funkcjonalności syntetyzowanego głosu.
Z perspektywy reżyserii dźwięku jako dyscypliny artystycznej w dziedzinie sztuk muzycznych należy zauważyć, że wszystkie poniżej opisane cechy materiału bazowego od wielu lat stanowią punkt wyjścia dla prawidłowej realizacji nagrań fonograficznych, w których najwyższej próby kunszt interpretacji oraz “prawda emocjonalna” (przekonywalność) należą do katalogu najbardziej pożądanych zalet.
W oparciu o doświadczenia i praktykę realizacyjną ostatnich miesięcy bezsprzecznym pozostaje fakt, iż do grupy parametrów podstawowych w obszarze kształtowania zasobów materiału bazowego należą:
• czas trwania materiału bazowego
• cechy brzmieniowe i przestrzenne materiału bazowego
• ekspresja interpretacji tekstu i emisja głosu w realizacji nagrań materiału bazowego
• intonacja i prozodia w nagraniach materiału bazowego
• dykcja i artykulacja w nagraniach materiału bazowego
Czas trwania materiału bazowego
Jednym z kluczowych czynników determinujących efektywność i wiarygodność procesu syntezy jest długość materiału referencyjnego. Minimalna czy też niewielka baza danych, co prawda umożliwia odtworzenie podstawowych cech mowy, lecz prowadzi do rezultatów o niskim stopniu naturalności, ograniczonej różnorodności intonacyjnej oraz zauważalnych deficytów w płynności brzmieniowej. Rozbudowane korpusy nagraniowe pozwalają na uformowanie bogatszej reprezentacji akustyczno-fonetycznej, w której algorytm uczy się subtelnych przejść między głoskami, niuansów intonacyjnych i zjawisk prozodycznych. Długość nagrań w sposób bezpośredni wpływa na zdolność sieci neuronowych do generalizacji, zwiększając elastyczność modelu w zastosowaniach praktycznych.
Walory brzmieniowe i przestrzenne materiału
Materiał referencyjny stanowi jednocześnie punkt odniesienia dla jakości akustycznej końcowej syntezy. Nagrania wykonane w warunkach kontrolowanych (z zachowaniem neutralności akustyki pomieszczenia, wysokiej jakości elementów toru mikrofonowego oraz zrównoważonej dynamiki) pozwalają algorytmom uczyć się właściwości głosu, a nie powielania artefaktów przestrzennych czy szumowych. Charakterystyka widmowa materiału powinna zachowywać pełnię pasma przenoszenia głosu ludzkiego (ok. 80 Hz – 18 kHz), umożliwiając algorytmom AI precyzyjne modelowanie barwy.
Ekspresja i emisja głosu
Ekspresyjność materiału bazowego stanowi fundamentalny czynnik warunkujący naturalność i komunikatywność wygenerowanej mowy. Współczesne modele uczą się bowiem nie tylko struktury fonetycznej, lecz także sposobu artykulacji emocji. Różnorodność emocjonalna (radość, smutek, zaskoczenie, neutralność) pozwala algorytmowi na późniejsze odwzorowanie bogactwa komunikacyjnego języka.
Kontrola emisji głosu – stabilna, realizowana poprzez zastosowanie prawidłowych technik wokalnych oraz równomierna praca rezonatorów gwarantują jednolite cechy widmowe głosu, co ułatwia proces modelowania.
Intonacja i prozodia
Intonacja pełni w języku rolę semantyczną i pragmatyczną, stanowiąc narzędzie modulacji znaczeń. Modele syntezy uczą się schematów prozodycznych obecnych w materiale referencyjnym: schematy akcentowe wpływają na czytelność wypowiedzi i percepcję poprawności językowej, zaś kontury melodii zdaniowej decydują o naturalności przekazu. Ich brak skutkuje monotonią i mechanicznym charakterem brzmienia.
Dykcja i artykulacja
Precyzja artykulacyjna w materiale bazowym determinuje klarowność syntetyzowanego głosu. Wyrazista dykcja umożliwia algorytmowi łatwiejsze wyodrębnienie jednoznacznych cech fonemicznych, minimalizując ryzyko błędów w rekonstrukcji głosek. Niedostatki artykulacyjne (seplenienie, nieprawidłowe łączenia spółgłoskowe, transakcentacja) mogą prowadzić do replikowania wad wymowy w syntezie, a nawet do ich wzmocnienia w postaci artefaktów fonetycznych.
Podsumowanie
Analiza wskazuje jednoznacznie, iż rezultat brzmieniowy syntezy mowy opartej na sztucznej inteligencji pozostaje wprost zależny od jakości, różnorodności i kompletności materiału referencyjnego. Parametry takie jak długość nagrań, parametry i walory akustyczne, ekspresja, intonacja i dykcja stanowią czynniki krytyczne, determinujące zarówno realizm, naturalność brzmienia, jak i funkcjonalność wygenerowanej mowy. Z perspektywy reżyserii dźwięku można stwierdzić, że dzisiejsze algorytmy - niezależnie od swojej złożoności – choć satysfakcjonujące i bardzo obiecujące, nie są w stanie przekroczyć granic wyznaczonych przez dane wejściowe. Dlatego też w procesach profesjonalnych, zarówno badawczych, jak
i komercyjnych, absolutnym priorytetem pozostaje wytworzenie materiału referencyjnego spełniającego najwyższe kryteria jakościowe. Dotyczy to wszelkich zastosowań syntezy głosu, jak np. interpretacja aktorska w słuchowiskach i audiobookach, aplikacje lektorskie, voice over, synteza komunikatów głosowych i innych.