Menu
W ramach zadania przygotowane zostało środowiska programistycznego i testowe. Na bazie dotychczasowych doświadczeń i wiedzy eksperckiej, zdecydowano się oprzeć badania o środowisko Unity3D W ramach zadań osiągnięto rezultat KM1 w całości. 1) Działające środowisko bazowej architektury: - zrealizowano, dostępne w formie projektu Unity3D, umiejscowionego w repozytorium, zawierającego wszystkie elementy niezbędne do uruchomienia projektu (w tym kody źródłowe, pliki scen, elementy scen) a) ciało zawierające geometrię, zestaw tekstur, szkielet z animacjami - zrealizowano, dostępne w formie plików do importu własnego przez dewelopera oraz zintegrowane w ramach środowiska testowego b) scena świata - zrealizowano, dostępne w formie sceny w ramach środowiska bazowej architektury c) zaimplementowane 9 interakcji: chodzenie, bieganie, kucanie, schylanie się, wspinanie, podnoszenie, przenoszenie, strzelanie i sięganie do przedmiotów przy pasie - zrealizowano, dostępne w ramach środowiska bazowej architektury, dostępne dla dewelopera/gracza ● chodzenie i bieganie, ● kucanie, ● schylanie się, ● wspinanie, ● podnoszenie, ● przenoszenie, ● strzelanie, ● sięganie do przedmiotów przy pasie.
W ramach zadania dokonano badania wpływu realizacji ucieleśnienia przez istniejące implementacje wybranych metodologii na poczucie obecności. W ramach pracy stworzony został arkusz oceny ucieleśnienia, który został wykorzystywany do oceny wpływu poszczególnych aspektów na poczucie ucieleśnienia. Dokonano klasyfikacji 4 algorytmów animacji ciała w ujęciu oceny bazującej na średniej ważonej cech jakościowych. Jej rezultaty będą stanowiły punkt odniesienia dla rezultatów końcowych projektu. Jednocześnie posłużą jako punkt wyjścia realizacji kolejnych prac projektu.
W ramach niniejszego zadania opracowano algorytm, który posłuży do implementacji modułu wirtualnego ciała. Zaprojektowano finalną architekturę modułu zarządzania wirtualnym ciałem, z uwzględnieniem jego budowy, interfejsu jak i struktur danych.
Na bazie rezultatów KM2, zostały wybrane takie rozwiązania, które będą oferowały zwiększenie odczucia ucieleśnienia, a więc także obecności. Pod uwagę wzięte również zostały:
1) Miara trudności realizacji danego rozwiązania
2) Złożoność obliczeniowa i pamięciowa rozwiązania
3) Osiągnięte zwiększenie odczucia ucieleśnienia
4) Adekwatność do standardów rynkowych (dostępne czujniki, architektury sprzętowe, ich penetracja rynkowa etc.)
Wykonano implementację 2 algorytmów animowania wirtualnego ciała. W pomiarach wykonanych w środowisku testowym w założonych parametrach osiągnięto wyniki lepsze od założonych. W dalszych etapach projektu nastąpi jeszcze dalsze udoskonalanie algorytmów
W ramach środowiska do badań klasyfikacji stanu rozbudowano środowisko deweloperskie i testowego o dodatkowe elementy rozpoznające. Dodatkowo przygotowano stosowne środowisko testowe od strony programistycznej w aspekcie badania reakcji emocjonalnej gracza, o elementy mogące tę reakcję wywołać i badać. W ramach przeglądu rozwiązań wyszczególniono trzy możliwe kierunki przygotowania scenariusza nagrań danych na potrzeby opracowania modelu klasyfikacji stanu emocjonalnego: emocje poprzez gesty, emocje w danych gestach, emocje w dowolnym ruchu. Została wypracowana podstawowa architektura modułu informatycznego umożliwiająca przeprowadzenie badań, która w kolejnych zadaniach ewoluuje w propozycję docelowej architektury. Dokonano klasyfikacji algorytmów klasyfikacji stanu osoby oraz stworzono dokumentację opisującą te algorytmy w ujęciu z cechami jakościowymi: - stopień rozpoznawania gestów (% poprawności) - czas reakcji od rozpoznania gestu do zlecenia akcji dla systemu
Wirtualny model postaci. Wirtualne ciało to zaawansowany system ciała 3D, który został opracowany przez firmę Incuvo. System ten umożliwia tworzenie wysokiej jakości ciało o szczegółowym realizmie animacji, co jest szczególnie ważne w dzisiejszej branży gier VR. Jedną z kluczowych cech wirtualnego ciała jest jego zaawansowana struktura kości, pozwalająca na płynną i realistyczną animację postaci. W zależności od konkretnego modelu, liczba wynosi zazwyczaj 52 kości. Takie rozwiązanie pozwala na precyzyjną kontrolę nad każdym elementem postaci oraz płynne poruszanie się postaci w każdej sytuacji. Na podstawie wniosków na bazie wyników KM1 zaproponowano schemat sieci głębokiej. Treningu i testowania dokonano na podstawie pełnej bazy danych nagrań. Każda scena była nagrana w określonej przez indukcję emocji. Emocję indukowano odtwarzanym filmem, galerią zdjęć wyświetlaną przed każdą ćwiartką koła emocji. Indukcję emocji wzmacniano również w samej scenie za pomocą koloru tła, muzyki oraz zdjęć. Wykrywanie emocji w środowisku gry VR jest złożonym zadaniem, które może być utrudnione przez wiele czynników. Emocje wywołane przez samą grę mogą maskować lub zniekształcać emocje testowe, co utrudnia ich wykrywanie. Dodatkowe wyzwania związane z technicznymi ograniczeniami sprzętu VR, jakością symulacji oraz indywidualnymi różnicami między graczami mogą również wpłynąć na trudności związane z wykrywaniem emocji.
Na podstawie rezultatów osiągniętych w etapie nr 1 wykonano analizę wymagań dotyczących typów interfejsów i struktur danych oraz tego jak powinny być zorganizowane. Zidentyfikowano kluczowe komponenty, takie jak zarządzanie danymi wejściowymi, elementy wirtualnego ciała, przetwarzanie danych z czujników. Na tej podstawie opracowano plan implementacji interfejsów i struktur danych, uwzględniając moduły, klasy i interfejsy niezbędne dla każdego z komponentów. Następnie, zaprojektowano interfejsy dla poszczególnych komponentów. Dla zarządzania danymi wejściowymi stworzono interfejsy umożliwiające odczytanie danych z różnych źródeł, takich jak przyciski, czujniki zbliżeniowe, oraz strumieni danych reprezentujących rzeczywiste dane pozyskiwane z systemów śledzenia, takich jak kontroler czy headset VR używanych do synchronizowania pozycji i orientacji. Dla przetwarzania danych z czujników stworzono interfejsy pozwalające na implementację różnych algorytmów, takich jak filtracja czy kalibracja. W celu zintensyfikowania poczucia ucieleśnienia oraz zwiększenia stopnia osiągniętego realizmu, w zadaniu tym przygotowane zostały struktury danych opisujące poszczególne części ciała na wzór tego jak w rzeczywistości wygląda ludzkie ciało. W szczególności dużą uwagę skupiono na elementach ciała których wizualizacja najbardziej wpływa na immersję gracza na podstawie wyników etapu pierwszego. Te struktury danych będą służyć do animacji wirtualnego awatara. Dla modeli wirtualnego ciała są to interfejsy reprezentujące poszczególne kości, całe kończyny, poszczególne grupy kości (np. palce dłoni) i inne elementy ciała, jak również metody umożliwiające ich aktualizację i manipulację.
Pierwszym zadaniem była implementacja interfejsów i struktur danych. Stworzone zostały odpowiednie moduły, w ramach nich zaprojektowane klasy i stworzone interfejsy. Przygotowane zostały też odpowiednie struktury danych. W ramach kolejnego zadania przystąpiono do przygotowania modułu sztucznej inteligencji wraz z modułem uczącym. Przygotowane zostały również podmoduły odpowiedzialne za normalizację danych. W przypadku rozwiązań modułu sztucznej inteligencji powiązanej ze środowiskiem Python, proces trenowania odbywać się będzie niezależnie od aplikacji VR. Model sztucznej inteligencji w osobnym procesie zostanie wytrenowany zgodnie z wytycznymi prac badawczych, a następnie zapisany w ogólnodostępnym formacie. Tak przygotowany model zostanie wczytany z poziomu skryptu aplikacji. Kolejnym krokiem w projekcie będzie wybór jednego z trzech sposobów implementacji, Następnie przystąpimy do kalibracji i trenowania modułu uczącego. W tej części ważne będzie skupienie się na uzyskaniu jak najlepszych wyników poprzez odpowiednie ustawienie parametrów. W razie potrzeby, nastąpi ponowne douczanie modelu. Kolejnym ważnym krokiem będzie właściwa implementacja klasyfikacji i wykonanie niezbędnych korekt, które pozwolą na poprawne rozpoznanie stanu emocjonalnego użytkownika na podstawie zebranych danych Dalszym zadaniem będzie przetestowanie implementacji i dokonanie modyfikacji i poprawek, które pozwolą na osiągnięcie jak najlepszych wyników w kwestii rozpoznawania stanu emocjonalnego.
