ByteDance wdraża nowy model generowania audio i wideo, Dreamina Seedance 2.0, na swojej platformie edycyjnej CapCut.
To wdrożenie pozycjonuje ByteDance jako kluczowego gracza na rynku generowania wideo AI po decyzji OpenAI o ograniczeniu wysiłków w zakresie aplikacji Sora.
Według ByteDance model umożliwia twórcom tworzenie, edytowanie i synchronizowanie treści wideo i audio za pomocą podpowiedzi, obrazów lub filmów referencyjnych.
Wdrożenie będzie początkowo skierowane do użytkowników CapCut w Brazylii, Indonezji, Malezji, Meksyku, Filipinach, Tajlandii i Wietnamie. ByteDance stwierdził, że dodatkowe rynki będą dodawane stopniowo.
Firma borykała się już wcześniej z problemami związanymi z własnością intelektualną dotyczącą modelu, co spowodowało zgłoszoną przerwę w jego globalnym wdrażaniu i krytykę ze strony Hollywood w związku z rzekomym naruszeniem praw autorskich. Może to wyjaśniać ograniczoną początkową dostępność na rynku.
W Chinach Dreamina Seedance 2.0 jest dostępna w aplikacji Jianying firmy ByteDance.
Jak ogłosił ByteDance, model generowania wideo może funkcjonować bez obrazów referencyjnych, umożliwiając twórcom opisywanie scen kilkoma słowami.
CapCut może renderować realistyczne tekstury, ruch i oświetlenie modelu w różnych perspektywach wizualnych i kątach. Firma zauważyła, że ta funkcja może ulepszyć lub poprawić istniejący materiał filmowy twórcy.
Jak podaje firma, użytkownicy mogą także testować pomysły na treść w oparciu o wczesne koncepcje lub szkice przed rozpoczęciem filmowania.
Dreamina Seedance 2.0 obsługuje takie typy treści, jak przepisy kulinarne, samouczki fitness, przeglądy biznesowe i filmy skoncentrowane na akcji, czyli obszary, w których modele wideo AI napotykały wcześniej wyzwania, wyjaśnił ByteDance.
W momencie premiery model obsługuje klipy wideo o długości do 15 sekund w sześciu formatach.
Integracja z CapCut obejmie funkcje takie jak AI Video i narzędzia do generowania, takie jak Video Studio. Model obejmie także platformę generowania sztucznej inteligencji firmy ByteDance – Dreamina i jej platformę marketingową – Pippit.
ByteDance wdrożyło ograniczenia bezpieczeństwa, aby uniemożliwić modelowi generowanie filmów z obrazów lub filmów zawierających prawdziwe twarze ze względu na jego realistyczne możliwości generowania treści. CapCut będzie również blokować nieupoważnione generowanie własności intelektualnej.
Treści wyprodukowane przez Dreamina Seedance 2.0 będą zawierać niewidoczny znak wodny identyfikujący materiał wygenerowany przez sztuczną inteligencję w przypadku udostępniania poza platformą. ByteDance dodał, że ta funkcja może pomóc w rozpatrywaniu żądań usunięcia treści od posiadaczy praw.
ByteDance planuje współpracować z ekspertami i społecznościami kreatywnymi podczas wdrażania, aby iteracyjnie ulepszać możliwości modelu.
