Celem Facebooka jest zapewnienie supermocy percepcji dzięki nowym okularom do rzeczywistości rozszerzonej. Rewolucyjny Facebook eksperyment ma na celu wykazanie, jak dźwięk może odgrywać ważną rolę w rzeczywistości rozszerzonej, dając ludziom coś, co naukowcy z sieci społecznościowej nazywają „supermocarstwami percepcji”.
Facebook i nowe okulary Augmented Reality
Facebook Reality Labs Research (FRL Research), laboratorium badawcze sieci społecznościowej, od sześciu lat rozwija projekt oparty na rzeczywistości rozszerzonej i wirtualnej, który ma na celu poprawę komunikacji międzyludzkiej.
Interdyscyplinarny zespół audio, złożony między innymi z naukowców, inżynierów, projektantów, ma za zadanie tworzyć wirtualne dźwięki, percepcyjnie nie do odróżnienia od rzeczywistości, i redefiniować ludzki słuch.
Nowe okulary do rzeczywistości rozszerzonej z Facebooka mogą umożliwiać przechwytywanie dźwięku za pomocą mikrofonów, wykorzystując wskazówki kontekstowe, które są w stanie zmierzyć, jakie dźwięki są ważne, i przesłać je przez zestaw słuchawkowy z redukcją szumów.
Dodatkowo, ulepszony dźwięk przestrzenny mógłby emitować głosy uczestników rozmowy telefonicznej lub rozmowy wideo, zwiększając poczucie, że są z inną osobą lub w obecności dźwięku.
Aby to osiągnąć, zespół skupił się na oferowaniu dwóch możliwości:
W 2017 roku zespół opracował wirtualne dźwięki, które naśladują kierunki, z których pochodzą dźwięki w prawdziwym życiu, oraz wysokiej jakości technologie symulacji akustycznej, które sprawiają, że wirtualne środowiska są bardziej wiarygodne. Technologie napędzają najnowocześniejsze rozwiązania w dziedzinie dźwięku przestrzennego i wspomagają wiele współczesnych doświadczeń, takich jak okulary rzeczywistości wirtualnej Oculus Quest i platforma Rift.
Poprawa dźwięku przestrzennego
Jednym z głównych narzędzi podtrzymujących pracę jest dźwięk przestrzenny, który daje poczucie przebywania w tym samym miejscu, nawet jeśli są one oddalone od siebie o wiele mil.
Dźwięk przestrzenny naśladuje kierunki, z których dochodzą dźwięki w prawdziwym życiu i akustyce otoczenia, co może zmienić zasady prowadzenia rozmów wideo.
„Podczas dzisiejszej rozmowy telefonicznej głos drugiej osoby brzmi tak, jakby pochodził z samego telefonu (lub środka twojej głowy, jeśli nosisz słuchawki), więc twój mózg odrzuca pomysł, że druga osoba może być w tym samym miejscu lokalizacja ”- opisuje Lisa Brown, menedżer ds. technologii komunikacyjnych w Facebooku.
Firma uważa, że dźwięk przestrzenny można łączyć z awatarami kodeków, ultra-realistycznymi renderami ludzi animowanych w czasie rzeczywistym. „Pozwoli to przełamać prawdziwą obecność społeczną. Pozwalając ci spędzać czas z ważnymi w twoim życiu osobami w ważnych miejscach, możemy radykalnie zmienić sposób, w jaki żyjesz, pracujesz i bawisz się ”- dodaje Brown.
Supermoce percepcyjne
Na przykład, można by prowadzić rozmowę w zatłoczonej restauracji lub barze bez konieczności podnoszenia głosu, aby zostać wysłuchanym, lub bez wysiłku, aby zrozumieć, co mówią inni.
Używając wielu mikrofonów na okularach, możliwe jest uchwycenie dźwięków otoczenia. Następnie na podstawie schematu ruchów głowy i oczu możemy dowiedzieć się, który z tych dźwięków jest najbardziej zainteresowany usłyszeniem.
„Dzięki temu możemy wzmocnić odpowiednie dźwięki i wyciszyć inne, zapewniając, że to, co naprawdę chcesz usłyszeć, jest wyraźne, nawet przy głośnym hałasie w tle” – mówi Mehra.
Celem zespołu jest objęcie pełnym zakresem dźwięków, które mogą słyszeć ludzie, od 20 Hz do 20000 Hz.
Obecnie opracowują specjalne monitory wewnętrzne (IEM), prototyp wyjściowy, który umożliwia wykorzystanie technologii aktywnej eliminacji szumów w celu skutecznego zmniejszenia głośności niepożądanego szumu tła.
„Gdy połączymy to z prototypem wejściowym FRL Research, w tym układem mikrofonów, możemy zapewnić pełne doświadczenie supermocy słyszenia” – wyjaśnia Brown.