Generatory modeli 3D firmy OpenAI Point-E mogą być kolejną innowacją, która wstrząsnie dziedziną sztucznej inteligencji. Point-E, system uczenia maszynowego, który generuje obiekt 3D z monitu tekstowego, został udostępniony publicznie w tym tygodniu przez OpenAI.
Artykuł, który został opublikowany razem z baza kodu twierdzi, że Point-E może tworzyć modele 3D na jednym GPU Nvidia V100 w ciągu jednej do dwóch minut.
W konwencjonalnym sensie OpenAI Point-E nie tworzy obiektów 3D. Zamiast tego tworzy chmury punktów, które są dyskretnymi zbiorami punktów danych w przestrzeni, które odzwierciedlają kształty 3D; stąd zabawny skrót. Z obliczeniowego punktu widzenia tworzenie chmur punktów jest prostsze, ale obecnie stanowią one główną wadę OpenAI Point-E, ponieważ nie mogą uchwycić drobnoziarnistego kształtu lub tekstury obiektu.
Zespół OpenAI Point-E przeszkolił dodatkowy system sztucznej inteligencji, aby przekształcał chmury w siatki, aby obejść to ograniczenie. Jednak w raporcie zwracają uwagę, że model czasami pomija określone szczegóły przedmiotu, co skutkuje blokowymi lub zdeformowanymi kształtami.
OpenAI Point-E jest w stanie wygenerować modele 3D w ciągu kilku sekund
OpenAI Point-E składa się z dwóch modeli: modelu text-to-image i modelu image-to-3D, oprócz modelu generującego siatkę, który jest samodzielnym modelem. Model zamiany tekstu na obraz został przeszkolony na oznaczonych obrazach, aby zrozumieć relacje między słowami a koncepcjami wizualnymi, podobnie jak systemy sztuki generatywnej, takie jak DALL-E 2 i Stable Diffusion firmy OpenAI. Z drugiej strony model obrazu do 3D został nauczony skutecznego przekładania między nimi poprzez podawanie zestawu fotografii połączonych z obiektami 3D.
Model E typu „point-text-to-image” tworzy syntetycznie wyrenderowany element na podstawie monitu tekstowego, taki jak „wydrukowane w 3D koło zębate, pojedyncze koło zębate o średnicy 3 cali i grubości pół cala” i przekazuje go do obrazu do -Model 3D, który tworzy chmurę punktów.
Według badaczy OpenAI OpenAI Point-E może generować kolorowe chmury punktów, które zwykle pasują do monitów słownych po wytrenowaniu modeli na zbiorze danych „kilku milionów” obiektów 3D i powiązanych metadanych. To nie jest bezbłędne; czasami model Point-image-to-3D E nie może zinterpretować obrazu z modelu tekst-obraz, co prowadzi do kształtu, który nie odpowiada monitowi tekstowemu. Mimo to zespół OpenAI twierdzi, że jest o rząd wielkości szybszy niż poprzedni najnowocześniejszy.
„Chociaż nasza metoda wypada gorzej w tej ocenie niż najnowocześniejsze techniki, wytwarza próbki w niewielkim ułamku czasu”
„Może to uczynić go bardziej praktycznym w niektórych zastosowaniach lub pozwolić na odkrycie obiektów 3D o wyższej jakości”.
-Zespół OpenAI
OpenAI Point-E może być potężnym narzędziem do projektowania projektów
Jakie dokładnie są zastosowania OpenAI Point E? Jednak według naukowców z OpenAI chmury punktów utworzone przez Point-E mogą być wykorzystywane do tworzenia rzeczywistych obiektów, na przykład poprzez drukowanie 3D. Po dopracowaniu system może znaleźć zastosowanie również w procesach produkcji gier i animacji dzięki dodaniu modelu konwertującego siatkę.
Chociaż może to być najnowsza firma wchodząca na rynek generowania obiektów 3D, OpenAI w żadnym wypadku nie jest pierwszą, jak już wcześniej powiedziano. Bardziej rozwinięta wersja Dream Fields, generatywnej technologii 3D, którą Google ujawnił w 2021 roku, została wydana na początku tego roku pod nazwą DreamFusion.
DreamFusion, w przeciwieństwie do Dream Fields, nie wymaga wcześniejszego szkolenia. Dlatego może tworzyć modele 3D obiektów bez danych 3D. Podczas gdy generatory grafiki 2D są obecnie w centrum uwagi, sztuczna inteligencja syntetyzująca modele może potencjalnie stać się kolejnym poważnym przełomem w przemyśle. Modele 3D są często wykorzystywane w dziedzinie nauki, projektowania wnętrz, architektury, filmu i telewizji. Inżynierowie wykorzystują modele jako projekty nowego sprzętu, pojazdów i konstrukcji, podczas gdy firmy architektoniczne wykorzystują je do demonstrowania proponowanych budynków i krajobrazów.
Source: OpenAI Point-E generuje modele 3D z mocą sztucznej inteligencji
