CYFROWE KLONOWANIE GŁOSU - INTERPRETACJA W SYNTEZIE MOWY

​

Od kilku lat przygotowywaliśmy się do przeprowadzenia projektu pozwalającego na zbadanie obszarów interpretacji aktorskich w syntezie mowy. W celu stworzenia wzorca do badań i danych wyjściowych do opracowania modeli – konieczne było połączenie dotychczasowej wiedzy o korpusach językowych i wiedzy o technologicznych wymogach realizacji dźwięku oraz całej gamy różnych interpretacji aktorskich. W czerwcu 2023 roku zaczęliśmy badać zgromadzone dane i przeprowadzić nowe testy pozwalające na wyciąganie wniosków i przeprowadzanie analiz prowadzących nas do rozróżniania styli w interpretacjach aktorskich – czyli de facto pracy z emocjami w głosie.

​

Udało nam się nawiązać współpracę z jednym z najlepszych polskich aktorów o niezwykłej wszechstronności zawodowej - PIOTREM FRONCZEWSKIM, który obdarzony znakomitym głosem dokonał z nami pionierskich nagrań korpusu zbalansowanego, wariacji interpretacyjnych oraz emocjonalnych pozwalających na badania i analizy . Przy okazji powstała unikalna baza, stanowiąca zasób do innych badań i analiz oraz punkt wyjścia do ewentualnej syntezy na poziomie zbliżonych do jakości interpretacji aktorskiej najwyższych lotów.

​

Zastosowaliśmy unikalną metodę pracy opartą o korpusy języka polskiego, pozwalającą na stworzenie bazy akustycznej, która w przyszłości może stanowić podstawę do kreacji nowych ról, dubbingów, słuchowisk, audiobooków, a w połączeniu „z cyfrową reżyserią” w całej gamie interpretacji aktora – możliwość wielu zastosowań. Jeden z najlepszych i najbardziej wszechstronnych aktorów i głosów tym samym może (o ile będzie to formalnie uregulowane) funkcjonować jako dziedzictwo kultury.

 

Punktem wyjścia była koncepcja oparta o maszynowe uczenie i analogię do pracy z obrazem. Tak jak dziś umiemy wpływać na obraz (poprzez programy graficzne, dokonując zmian w kolorystyce), tak – zakładamy w przyszłości, będzie można wpływać na cyfrowe wykonania – ingerując w „kolorystykę” emocjonalną i interpretacyjną.

​