W grudniu ubiegłego roku Zdjęcia Google dodały nową, świetną funkcję: Zdjęcia kinowe. Można je generować automatycznie z poziomu aplikacji, klikając sekcję z najnowszymi informacjami.
Jak działają zdjęcia kinowe w Zdjęciach Google?
Z Blog Google chcieli wyjaśnić, w jaki sposób udaje im się wprawić zdjęcia w ruch, dzięki czemu mają tak przyciągający wzrok efekt 3D. Jak zawsze, korzystają z sieci neuronowych i wiedzy obliczeniowej.
Według Google zdjęcia kinowe mają na celu przywrócenie użytkownikowi „wciągającego wrażenia z chwili zrobienia zdjęcia” poprzez symulację zarówno ruchu wykonanego przez aparat, jak i paralaksy 3D. Jak zamieniają obraz 2D w trójwymiarowy?
Google wykorzystuje swoje sieci neuronowe wyszkolone na zdjęciach zrobionych Pixelem 4s, aby oszacować głębię ostrości za pomocą pojedynczego obrazu RGB
Google wyjaśnia, że podobnie jak w przypadku trybu portretowego lub rzeczywistości rozszerzonej, zdjęcia kinowe wymagają mapy głębi, aby uzyskać informacje o strukturze 3D. Aby osiągnąć ten efekt na każdym telefonie komórkowym, który nie ma podwójnej kamery, wyszkolili konwolucyjną sieć neuronową do przewidywania mapy głębi z pojedynczego obrazu RGB.
Mając tylko jeden punkt widzenia (płaszczyznę zdjęcia), może oszacować głębię zdjęcia za pomocą wskazówek monokularowych, takich jak względne rozmiary obiektów, perspektywa zdjęcia, rozmycie i tak dalej. Aby uzupełnić te informacje, wykorzystują dane zebrane aparatem Pixela 4, aby połączyć je z innymi zdjęciami wykonanymi profesjonalnymi aparatami przez zespół Google.
Technika jest podobna do tej w trybie portretu pikselowego: obraz jest analizowany, dzielony na segmenty, a po udanym wyizolowaniu tła symulowany jest ruch poprzez przesunięcie tła. Jest to bardziej złożone, ponieważ wymaga kilku korekt i analiz na zdjęciu, ponieważ kilka błędnie zinterpretowanych pikseli może zrujnować ostateczny wynik.
