OPRACOWANIA I ANALIZY
W ramach projektu nasi specjaliści opracowali szereg koncepcji nagrań i dokonali analizy badawczej pozwalającej na budowanie bazy danych do tworzenia opisu prototypu generatora emocji w oparciu o wzorzec zarejestrowany przy udziale naszego bohatera nagrań.
Ekspertyzy i analizy naszych specjalistów stanowią znakomite uzupełnienie projektu, pozwalające na opis emocji w syntezie mowy.
prof. Jacek Hamela
„Opracowanie i wykonanie autorskiej koncepcji nagrywania korpusów językowych o różnym zabarwieniu emocjonalnym i różnej interpretacji dokonywanej przez aktora oraz opracowania technologii realizacji, przy założeniu wykorzystania bazy testowej i powstałych w przyszłości Nagrań do celów syntezy mowy, a co za tym idzie, z uwzględnieniem możliwości replikacji wszystkich możliwych planów dźwiękowych, typowych dla realizacji dźwięku filmowego, radiowego oraz wykorzystywanego w grach, audiobookach, nagraniach wokalnych, telewizyjnych, itp.”.
Cytaty z prac koncepcyjnych i analitycznych:
„W przypadku tego twórcy - jednym z niekwestionowanych atutów - jest nadzwyczajne, charakterystyczne brzmienie głosu. Barwa rzadko spotykana, piękna: ciepła i głęboka. Po stronie analizy widmowej sygnału dźwiękowego moglibyśmy stwierdzić, że jest to barwa niesłychanie “bogata.”
prof. Krzysztof Szklanny
„Opracowanie dwóch autorskich wielokrotnie zbalansowanych korpusów dla emocjonalnej syntezy mowy języka polskiego w zakresie uwzględniającym fakt, że proces balansowania polega na wyborze zdań spełniających określone kryteria dotyczące występowania różnych jednostek akustycznych (fonemy, difony, trfiony, wyrazy) w zdaniach, a zdania pochodzą z różnych domen językowych."
ANALIZA BADAWCZA: Wykonanie analizy nagranych korpusów uwzględniających potrzeby syntezy mowy oraz analiza emocji w zarejestrowanych nagraniach z uwzględnieniem parametrów akustycznych, ze wskazaniem możliwości rozróżniania stylu i emocji, w celu umożliwienia zaprogramowania emocji w syntezie mowy.
Cytaty z prac koncepcyjnych i analitycznych:
„Wielokrotnie zbalansowany korpus tekstowy stanowi podstawę do realizacji emocjonalnej syntezy mowy."
„Wykonane analizy akustycznej nagranych korpusów mowy potwierdziły przeogromny potencjał jaki tkwi w zgormadzonym materiale dźwiękowym."
dr Jolanta Bachan
„Opracowanie konceptu do nagrań wybranych emocji na potrzeby modelowania emocji w systemie syntezy mowy,
z zaznaczeniem, że analiza skupiać się będzie na mowie czytanej i/lub spontanicznej do modelowania radości, strachu, obrzydzenia, zaskoczenia, rozczarowania, złości, smutku oraz na nagraniach neutralnych, w celu zapewnienia przez teksty neutralne pokrycia fonetycznego difonów języka polskiego.”
ANALIZA BADAWCZA:
Analiza fonetyczna emocjonalnej bazy nagrań w oparciu o częstotliwość podstawową głosu, natężenia głosu oraz iloczasu na podstawie nagrania czytanych tekstów z aktorską interpretacją emocjonalną podzieloną na kategorie: radości, strachu, obrzydzenia, zaskoczenia, rozczarowania, złości, smutku oraz nagrania neutralne.
Cytaty z prac koncepcyjnych i analitycznych:
„Za wzorcowe przyjęto dwie kategoryzacje emocji wg Paula Ekmana (1982) oraz Roberta Plutchika (1980)."
„Różnorodność emocji oraz perfekcyjna jakość nagranego materiału może być wykorzystana w przyszłości zarówno do tworzenia emocjonalnej syntezy mowy, jak i precyzyjnych badań naukowych."
dr Janusz Rafałko
„Opracowanie i wykonanie korpusu tekstowego zawierającego pojedyncze wyrazy, w którym znajdą się wszystkie naturalne jednostki akustyczne (alofony), niezbędne do przygotowania konkatenacyjnej syntezy mowy, poprzez odpowiednie zdefiniowanie jednostek akustycznych wraz z przygotowaniem wyrazów języka polskiego, w których się one znajdują oraz autorskie opracowanie tekstu do syntezy mowy oraz treningu modeli uczenia maszynowego w zakresie emocji i rozpoznawania ich prawdziwości”.
ANALIZA BADAWCZA:
Analiza przygotowanych korpusów pod względem ich zupełności oraz przydatności w różnych zastosowaniach związanych z syntezą mowy, w szczególności syntezą i wyrażaniem w niej emocji. Opis bazy alofonowej.
Cytaty z prac koncepcyjnych i analitycznych:
„Podział na alofony odbywa się na podstawie rozróżnienia fonemów mających różne sąsiedztwo. Mamy kontekst lewy, czyli alofon następuje po pewnej grupie fonemów, oraz prawy kontekst, czyli alofon występuje przed pewną grupą fonemów. "
„Krytyczne w tym procesie jest wydobycie z dźwięku cech, dostarczających informacji o możliwych stanach emocjonalnych reprezentowanych przez daną próbkę mowy. Mogą to być cechy prozodyczne, cechy spektralne."
dr Jolanta Trela-Ptaszyńska
"Reżyseria interpretacji aktorskich - nagrań dźwiękowych w synchronizacji w zakresie interpretacji aktorskiej tekstów, czytanych przez aktora, dokonywanych na bazie utworu dramatycznego."
&
prof. Katarzyna Dzida - Hamela
"Reżyseria dźwięku i opracowanie nagrań dźwiękowych w synchronizacji w zakresie interpretacji aktorskiej tekstów, czytanych przez aktora, dokonywanych na bazie utworu dramatycznego."
BAZA: tekst dramatu "WIZJA"
Cytaty z kwestii MASTERSA:
„MASTERS: Więc uważaj na to, co myślisz i robisz, bo teraz jeszcze możesz to zmienić. Myślałem, że jestem sprytny pisząc o innych, a nie o sobie. Ale w istocie pisałem o sobie, bo byłem tymi wszystkimi ludźmi, których przywary i nędzę opisywałem."
mgr Kamil Przełęcki
"Opracowanie i wykonanie koncepcji projektu opartego o interpretację w syntezie mowy, rozumianą jako potrzebę dokładnego rozpoznania i generowania emocji i interpretacji aktorskich, na które składają się różne warianty emocji potrzebnych w zastosowaniu przyszłych algorytmów oraz dokonanie wyboru obsady nagraniowej oraz koncepcji zastosowań efektów projektu wraz z wypracowaniem ścieżki działania modelu nagrań i wyboru konkretnych metod dostępnych w świecie nauki w oparciu o zakres interpretacyjny wybranego aktora, posiadającego bardzo szeroki wachlarz możliwości z wielu dziedzin audiowizualnych.”
KONCEPT, KOORDYNACJA I PRODUKCJA PROJEKTU.
Cytaty opracowanej koncepcji projektu:
„Pewnych rzeczy nie odwrócimy - bo sztuczna inteligencja potrzebuje danych i źródeł. Pewnych źródeł już nie przywrócimy. Możemy je jedynie interpolować, wyłuskiwać dane z zanieczyszczonych próbek. W naszym projekcie mamy szanse na najczystsze próbki, które za 50 lat będą nadal idealne do obróbki. W tym celu postanowiliśmy zdeponować archiwum. A w ramach współpracy pozwolić na kontrolowane korzystanie w zakresie naukowym i badawczym."