Czy kiedykolwiek chciałeś dodać realistyczne dialogi do swoich animowanych postaci lub filmów, ale proces ręcznej synchronizacji ruchu warg był dla Ciebie nudny? Synchronizacja ust Pika może zmienić wszystko. Ta innowacyjna funkcja oparta na sztucznej inteligencji umożliwia łatwe generowanie zsynchronizowanych ruchów warg w filmach, dzięki czemu stają się one bardziej wciągające i wiarygodne.
Przełomowy generator wideo Sora AI OpenAI może być na razie poza zasięgiem publicznym, ale jego rywale idą naprzód, wprowadzając własne innowacyjne funkcje. Pika dokonała istotnego ruchu, wprowadzając nową funkcję Lip Sync dla płacących abonentów.
To ekscytujące osiągnięcie może zmienić tradycyjny sposób tworzenia filmów i sposobu patrzenia na nie Pikawideo na X, funkcja synchronizacji warg Pika jest na właściwym miejscu!
Wiemy, że ostatnio dużo mówi się o filmach generowanych przez sztuczną inteligencję. Cóż, spójrz, kto teraz mówi!
Wczesny dostęp do Lip Sync jest już dostępny dla użytkowników Pro pod adresem https://t.co/nqzjGy82Lx. pic.twitter.com/vCJ88pUWLL
— Pika (@pika_labs) 27 lutego 2024 r
Co to jest Pika Lip Sync?
Obsługiwane przez Najnowocześniejsza technologia generatywnego dźwięku ElevenLabs, Pika Lip Sync umożliwia użytkownikom dodawanie realistycznych dialogów mówionych do filmów generowanych przez sztuczną inteligencję. Płynnie dopasowuje dialog do animowanych ruchów warg, zapewniając idealną synchronizację ust postaci z dźwiękiem.
Synchronizacja ust Pika obsługuje zarówno zamianę tekstu na dźwięk, jak i przesłane ścieżki audio. Niezależnie od tego, czy piszesz scenariusz, czy przesyłasz nagrany wcześniej głos, możesz dostosować głos tak, aby pasował do Twojej postaci i stylu projektu. Obecnie dostęp jest ograniczony do użytkowników Pika Pro i członków Program „Super Współpracownicy” Piki.
Jak działa Pika Lip Sync?
Synchronizacja ust Pika wykorzystuje złożone modele uczenia maszynowego do rozkładania plików audio i rozpoznawania fonemów – podstawowych jednostek dźwiękowych w mowie. Te fonemy są następnie mapowane do odpowiednich kształtów i ruchów ust (visemów), tworząc płynną animację pasującą do ścieżki dźwiękowej.
Jak używać Pika Lip Sync
Oto przewodnik krok po kroku, jak rozpocząć korzystanie z Pika Lip Sync:
- Utwórz lub prześlij swoją postać: Zacznij od wygenerowania postaci za pomocą narzędzi graficznych AI Piki lub przesłania istniejącego obrazu
- Prześlij lub nagraj dźwięk: Prześlij wcześniej nagrany plik audio (np. lektor lub piosenkę) lub nagraj dźwięk bezpośrednio w interfejsie Pika
- Zastosuj Pika Lip Sync: Znajdź i wybierz funkcję synchronizacji warg Pika. Usta Twojej postaci zostaną automatycznie animowane na podstawie przesłanego dźwięku
W razie potrzeby dostosuj ustawienia, a następnie wyeksportuj nowo animowany film.
AI do Holywood
Chociaż filmy Piki generowane przez sztuczną inteligencję mogą nadal mieć wiele do zrobienia pod względem absolutnego fotorealizmu w porównaniu z Sorą czy Runwayem, dodanie Lip Sync nadaje im przełomową przewagę. Pika porusza główną przeszkodę w tworzeniu dłuższych, narracyjnych filmów o sztucznej inteligencji, które wkrótce zobaczymy w Hollywood.
Wcześniej dodawanie mówionych dialogów i realistycznych ruchów warg często wymagało w postprodukcji uciążliwych narzędzi innych firm. Synchronizacja ust Pika usprawnia ten proces, zmieniając potencjał pełnometrażowych filmów wykorzystujących sztuczną inteligencję.
Jednak Pika nie jest jedyną firmą wprowadzającą innowacje. W tym tygodniu, Firma Runway zaktualizowała funkcję pędzla Multi Motion, umożliwiając użytkownikom stosowanie niezależnych kierunków ruchu do obiektów w filmach i dodając automatyczne wykrywanie regionu w celu łatwiejszego wyboru ruchu. Podkreśla to szybki postęp we wszystkich narzędziach do generowania wideo AI.
Nie zapomnij o niebezpieczeństwie Deepfake
Łatwość tworzenia realistycznych filmów za pomocą narzędzi takich jak Pika Lip Sync budzi poważne wątpliwości etyczne dotyczące deepfakes. Deepfakes to syntetyczne media, często filmy, w których manipuluje się podobizną danej osoby, aby powiedzieć lub zrobić rzeczy, których pierwotnie nie robiła. Choć technologia ta może mieć kreatywne i rozrywkowe zastosowania, ma też swoją ciemną stronę.
Niedawne wycieki Bobbi Athoff wyraźnie przypominają o potencjalnych zagrożeniach związanych z deepfake’ami, gdy są wykorzystywane bez zgody. Te zmanipulowane filmy spowodowały znaczny niepokój i uwydatniły szkodliwy wpływ zarówno na reputację, jak i samopoczucie ofiar. Deepfakes mogą być wykorzystywane do rozpowszechniania dezinformacji, w celu zemsty lub nękania, a nawet do tworzenia treści opartych na wyzysku bez ich zgody.
Bardzo ważne jest, aby użytkownicy byli świadomi obowiązków etycznych i potencjalnych szkód, jakie wiążą się z wykorzystaniem sztucznej inteligencji do manipulacji wideo. Siłę tej technologii należy wykorzystywać w sposób przejrzysty i odpowiedzialny. Zarówno twórcy, jak i platformy muszą wziąć pod uwagę wytyczne i zabezpieczenia, aby aktywnie zapobiegać nadużyciom. Obejmuje to edukowanie użytkowników na temat zagrożeń związanych z deepfakes oraz opracowywanie narzędzi do wykrywania i oznaczania zmanipulowanych treści.
Autor wyróżnionego obrazu: Freepik.
Source: Pika Lip Sync: Ogromny krok w adaptacji sztucznej inteligencji do Hollywood