Nvidia zaprezentowała Nemotron 3 Nano Omni, otwarty multimodalny model sztucznej inteligencji, który integruje możliwości widzenia, dźwięku i języka w ujednoliconej architekturze.
Model ma na celu zajęcie się niedoskonałościami obecnych systemów sztucznej inteligencji dla przedsiębiorstw, które często opierają się na fragmentarycznych potokach. Przetwarza różnorodne dane wejściowe — w tym tekst, obrazy, dźwięk, wideo, dokumenty, wykresy i interfejsy graficzne — podczas generowania tekstu wyjściowego.
Zbudowany w oparciu o hybrydową architekturę złożoną z 30 miliardów parametrów, Nemotron 3 Nano Omni aktywuje około 3 miliardy parametrów na jedno wnioskowanie. Nvidia twierdzi, że zapewnia pojemność wiedzy większych modeli, jednocześnie znacznie zmniejszając koszty obliczeń.
Nvidia stwierdziła, że Nemotron 3 Nano Omni osiąga aż do 9 razy większą przepustowość niż porównywalne modele Open Omni. W przypadku zadań wnioskowania wideo oferuje około trzykrotnie większą przepustowość przy 2,75 razy niższych wymaganiach obliczeniowych, wspartych przez okno kontekstowe zawierające 256 tys. tokenów. Według doniesień model ten przoduje w sześciu testach porównawczych w zakresie złożonej analizy dokumentów oraz zrozumienia treści wideo i audio.
Znani użytkownicy tego modelu to Foxconn, Palantir i H Company. „Wykorzystanie Nemotron 3 Nano Omni umożliwia naszym agentom szybką analizę nagrań ekranowych w rozdzielczości Full HD, co było wcześniej nieosiągalne” – powiedział Gautier Cloix, dyrektor generalny H Company.
Dell, Oracle i Infosys oceniają obecnie model pod kątem potencjalnego zastosowania. Nemotron 3 Nano Omni jest dostępny na platformach takich jak Hugging Face, OpenRouter, Amazon SageMaker JumpStart, Vultr i na ponad 25 platformach partnerskich. Jest wyposażony w otwarte wagi, zbiory danych i receptury szkoleniowe do wdrożenia w różnych środowiskach.
Model ten jest częścią szerszej rodziny Nemotron 3 firmy Nvidia, która obejmuje modele Super i Ultra przeznaczone do bardziej intensywnych zadań wnioskowania. W zeszłym roku seria Nemotron 3 osiągnęła ponad 50 milionów pobrań.
