Qualcomm, wiodący dostawca komunikacji bezprzewodowej i procesorów, poczynił znaczące postępy w dziedzinie sztucznej inteligencji (AI) podczas Mobile World Congress Barcelona. Głównym celem firmy jest uruchamianie sztucznej inteligencji na dużą skalę na urządzeniach brzegowych, takich jak telefony, komputery i inne urządzenia.
Qualcomm z powodzeniem uruchomił pierwszy na świecie duży model wielojęzyczny (LLM) i duży model multimodalny na telefonie z Androidem, umożliwiający wieloetapową rozmowę przypominającą czat między użytkownikiem a jego urządzeniem. Ponadto firma ogłosiła plany przyspieszenia sztucznej inteligencji na szerokiej gamie urządzeń brzegowych, w tym na komputerach nowej generacji, pojazdach, telefonach, przemysłowych urządzeniach IoT, punktach dostępu Wi-Fi i infrastrukturze komórkowej.
Łatwy w użyciu Qualcomm AI Hub
Aby ułatwić rozwój aplikacji AI, Qualcomm stworzył AI Hub, który zapewnia programistom obszerną bibliotekę modeli AI zoptymalizowanych pod kątem wysokiej wydajności na platformach Snapdragon i innych Qualcomm. Platforma oferuje wiele funkcji, takich jak renderowanie obrazów i tekstu oraz do czterokrotnie szybsze wnioskowanie na urządzeniach zasilanych przez Snapdragon lub inne platformy Qualcomm.
AI Hub oferuje przyjazne dla użytkownika środowisko, umożliwiając programistom wybór spośród ponad 75 modeli AI i wybór pomiędzy środowiskami pracy TensorFlow, PyTorch lub Onyx. Modele są również dostępne w Hugging Face i GitHub, co ułatwia programistom integrację sztucznej inteligencji z ich aplikacjami.
Co to jest LoRA?
Qualcomm osiągnął także kolejne osiągnięcie techniczne, uruchamiając swoją pierwszą implementację niskiego rzędu (LoRA) na telefonie z Androidem. Opracowana przez Microsoft LoRA ma na celu zmniejszenie złożoności uczenia modeli pod względem opóźnień, kosztów i wymagań sprzętowych. LoRA oferuje nowatorskie podejście do generowania obrazów, różniące się od generatywnych narzędzi AI, takich jak DALL-E. Zmniejszając złożoność modelu, LoRA zmniejsza wymagania dotyczące pamięci, poprawia wydajność i umożliwia dostosowywanie lekkich wersji bez konieczności pobierania lub dostrajania całego modelu.
LoRA przyjmuje inne podejście do tradycyjnych modeli renderowania AI. Modele te uczą się wzoru pikseli, aby utworzyć obraz. LoRA używa listy wektorów do utworzenia obrazu. Wektory reprezentują podstawowe cechy obrazu (kształt, kolor, tekstura itp.).
Podejście wektorowe LoRA znacznie zmniejsza złożoność i rozmiar modelu. Dzięki temu model można trenować szybciej, wymagając mniej sprzętu i zużywając mniej energii.
Snapdragon X Elite: przeznaczony do zastosowań AI
Zaprojektowany do obsługi sztucznej inteligencji, Snapdragon X Elite ma architekturę SoC 4 nm, 12-rdzeniowy procesor Qualcomm Oryon z obsługą dwóch rdzeni i zintegrowany procesor graficzny Qualcomm Adreno. Zapewnia dni użytkowania na jednym ładowaniu, eliminując potrzebę ciągłego ładowania. Jedną z jego najważniejszych cech jest możliwość uruchamiania generatywnych modeli AI LLM z 13 miliardami parametrów.
Aby zademonstrować możliwości SoC, Qualcomm przeprowadził test porównawczy wydajności pomiędzy Snapdragonem X Elite a konkurencyjnym procesorem x86 z najbardziej wydajną konfiguracją procesora graficznego, procesora i NPU. W teście porównawczym wykorzystano GIMP, potężny edytor grafiki rastrowej typu open source, wyposażony we wtyczkę Stable Diffusion do generowania obrazów GAI. Wyniki pokazały, że Snapdragon X Elite z NPU „45 TOPS” może renderować obrazy trzy razy szybciej niż jego konkurent x86. Aby lepiej zrozumieć, jak potężna jest moc obliczeniowa 45 TOPS, możemy spojrzeć na poniższy przykład:
- Ludzki mózg może wykonać około 100 bilionów operacji na sekundę.
- Komputer stacjonarny może wykonać około 10 bilionów operacji na sekundę.
- Smartfon może wykonać około 1 biliona operacji na sekundę.
Jak widać, moc obliczeniowa 45 TOPS jest 45 razy większa niż w smartfonie i 4,5 razy większa niż w komputerze stacjonarnym. To pokazuje, że platforma Snapdragon X Elite jest bardzo potężną platformą dla aplikacji AI.
NPU, którego imię zaczęliśmy słyszeć
NPU oznacza Neural Processing Unit, wyspecjalizowany procesor do zastosowań związanych ze sztuczną inteligencją i uczeniem maszynowym. Jednostki NPU zapewniają doskonałą wydajność, zwłaszcza przy obliczaniu operacji matematycznych stosowanych przez sztuczne sieci neuronowe (ANN). Te operacje matematyczne obejmują mnożenie macierzy, splot i funkcje aktywacji.
Jednostki NPU zaprojektowano tak, aby efektywniej współpracowały z danymi o niskiej precyzji, co czyni je idealnymi do obsługi obciążeń AI. Są również znacznie bardziej energooszczędne niż procesory i procesory graficzne do obliczeń AI.
Innowacje Qualcomm w AI
Bycze podejście firmy do tego tematu ma na celu zapewnienie efektywnego wykorzystania sztucznej inteligencji na wielu różnych platformach. Opracowany przez firmę procesor telefoniczny Snapdragon 8 Gen 3 i platformy komputerowe Snapdragon X Elite mogą wykonywać ważne funkcje w takich obszarach, jak generatywna sztuczna inteligencja, wizja komputerowa i przetwarzanie języka naturalnego.
Qualcomm oferuje także programistom zaawansowane możliwości sztucznej inteligencji za pośrednictwem Qualcomm AI Hub. Hub zapewnia programistom zasoby, w tym ponad 75 modeli AI zoptymalizowanych pod kątem wysokiej wydajności na platformach Snapdragon i innych Qualcomm.
Zastosowanie sztucznej inteligencji w smartfonach jest ograniczone, ale jeśli firma dotrzyma słowa i rozwinie te technologie tak, jak chce, będziemy mogli wykorzystywać sztuczną inteligencję w naszych telefonach tak, jak używamy jej w naszych komputerach. Sztuczna inteligencja nadaje także zupełnie nowy wymiar rozgrywkom, umożliwiając wirtualnym asystentom gier generowanie nowej zawartości gry oraz dynamiczne dostosowywanie zasad gry i rozgrywki w oparciu o wiedzę gracza lub chęć zdobycia bardziej wymagających wrażeń.
Skalowalna komercjalizacja sztucznej inteligencji na urządzeniach firmy Qualcomm stanowi poważny wkład w demokratyzację sztucznej inteligencji. Te wizjonerskie kroki czynią Qualcomm kluczowym graczem w dziedzinie sztucznej inteligencji, a firma może jeszcze bardziej przyspieszyć wdrażanie sztucznej inteligencji na dużą skalę.
Rozwój sztucznej inteligencji trwa. W tym tempie sztuczna inteligencja, która jako pierwsza weszła do naszych komputerów, sprawnie dotrze do naszych telefonów. Myślę, że pokazuje to również, jak bardzo ten sektor będzie się rozwijał w przyszłości, dzięki procesorom zbudowanym specjalnie z myślą o zrozumieniu sztucznej inteligencji. Choć obecnie toczy się dyskusja na temat jej etyki i moralności, w nadchodzących dniach wykorzystanie tej technologii w jakiś sposób zostanie zaakceptowane przez wszystkich użytkowników. Dzięki postępom Qualcomm możemy spodziewać się urządzeń wyposażonych w sztuczną inteligencję, które z łatwością będą w stanie wykonywać złożone zadania, czyniąc nasze życie wygodniejszym i wydajniejszym.
Autor wyróżnionego obrazu: Qualcomm
Source: Marzenia Qualcomm dotyczące sztucznej inteligencji nie mają sobie równych