Zespół badaczy Apple opracował nową platformę renderowania scen 3D w wysokiej rozdzielczości, znaną jako LGTM (mniej gaussów, więcej tekstur). Ramy te eliminują nieefektywność istniejących metod 3D Gaussa Splatting ze sprzężeniem zwrotnym, które borykają się z wysokimi rozdzielczościami.
Wraz ze wzrostem rozdzielczości tradycyjne metody wyprzedzające stają się zbyt kosztowne, co utrudnia generowanie scen 3D o wysokiej rozdzielczości. LGTM ma na celu zwiększenie możliwości istniejących systemów poprzez oddzielenie złożoności geometrycznej od rozdzielczości renderowania, umożliwiając prostszą geometrię przy jednoczesnym dodawaniu szczegółowych tekstur.
Struktura LGTM opiera się na wcześniej ustalonych metodach wyprzedzających, nakładając przewidywania tekstur na struktury geometryczne. Naukowcy przeszkolili model, korzystając z obrazów o niskiej rozdzielczości, zweryfikowanych w oparciu o podstawowe informacje o wysokiej rozdzielczości, zapewniając, że wygenerowana geometria pozostanie dokładna. Dodatkowo druga sieć skupiająca się na szczegółowych teksturach z obrazów o wysokiej rozdzielczości umożliwia systemowi uzyskiwanie bogatych wizualnie wyników.
Ta innowacja może znacząco wpłynąć na zestaw słuchawkowy Apple Vision Pro, który ma wyświetlacze o łącznej wielkości około 23 milionów pikseli. Obecne metody wyprzedzającego napotykają ograniczenia przy tak wysokich rozdzielczościach, co prowadzi do wąskich gardeł obliczeniowych podczas szybkiego i dokładnego generowania scen. LGTM może zapewnić płynniejszą pracę i ostrzejszą grafikę w aplikacjach wymagających renderowania scen w wysokiej rozdzielczości.
Wdrażając LGTM, Apple może zapewnić użytkownikom bardziej wciągające środowiska i lepsze doświadczenia związane z przekazywaniem, jednocześnie zmniejszając wymagania dotyczące przetwarzania. Strona projektu LGTM oferuje metody demonstracyjne, takie jak NoPoSplat, DepthSplat i Flash3D, prezentując ulepszone wyniki w porównaniu z poprzednimi technikami.
Przykładowe filmy i zdjęcia z projektu ilustrują zdolność LGTM do dostarczania bogatszych szczegółów i wyników bliższych prawdy o wysokiej rozdzielczości, demonstrując potencjalne korzyści w praktycznych zastosowaniach.
