OpenAI zaprezentowało swój pierwszy niestandardowy procesor wnioskowania Jalapeño, opracowany we współpracy z firmą Broadcom. Jak podała firma, procesor, zaprojektowany specjalnie dla systemów wnioskowania OpenAI, był wspomagany przez własne modele sztucznej inteligencji firmy.
Jalapeño przechodzi obecnie testy, a wstępne wyniki wskazują na znacznie lepszą wydajność na wat w porównaniu z obecnymi, najnowocześniejszymi alternatywami. Partnerstwo z Broadcom zostało oficjalnie ogłoszone w październiku, przy ciągłych spekulacjach, że ma ono na celu zmniejszenie zależności OpenAI od procesorów graficznych Nvidii.
Podobnie jak OpenAI, Google i Amazon również stworzyły niestandardowe chipy zwane „akceleratorami AI”, aby zwiększyć wydajność uczenia maszynowego. Prezes OpenAI Greg Brockman omówił strategię rozwoju chipów firmy w podcaście wkrótce po ogłoszeniu partnerstwa z Broadcomem.
„Dogłębnie rozumiemy obciążenie pracą” – powiedział Brockman. „Naprawdę szukaliśmy konkretnych obciążeń, które są niewystarczająco obsługiwane, [i pytaliśmy], jak możemy zbudować coś, co będzie w stanie przyspieszyć to, co jest możliwe?”
Procesor Jalapeño jest zoptymalizowany pod kątem wnioskowania, które polega na wykonywaniu gotowych modeli sztucznej inteligencji w odpowiedzi na polecenia użytkownika. OpenAI podkreśliło niskie koszty operacyjne chipa w przypadku modeli kodowania w czasie rzeczywistym. Zadania wymagające większej wydajności, takie jak szkolenia wstępne, prawdopodobnie w dalszym ciągu będą opierać się na sprzęcie Nvidia, ale obniżone koszty wnioskowania mogą pozytywnie wpłynąć na finanse OpenAI.
Optymalizacja systemów wnioskowania może mieć kluczowe znaczenie dla opłacalności ekonomicznej sztucznej inteligencji w przyszłości. OpenAI koncentruje się na budowaniu różnych produktów agentowych, w tym Codexu, wraz z centrami danych niezbędnymi do wdrożenia. Przejście na niestandardowe chipy pozwala firmie na dalsze ulepszanie swojej infrastruktury.
„OpenAI nie tylko opracowuje pionierskie modele lub buduje na ich podstawie produkty, ale także projektuje infrastrukturę pod nimi: architekturę chipów, jądra, systemy pamięci, sieci, planowanie, systemy wdrażania i doświadczenie związane z produktami” – stwierdziła firma. „Ponieważ OpenAI działa na wielu stosach, każdą warstwę można zoptymalizować w oparciu o ten sam cel: sprawić, by jej modele były szybsze, bardziej niezawodne i tańsze dla użytkowników”.
