xAI Corp. Elona Muska uruchomiło Colossus, potężny system szkoleniowy AI. Musk ogłosił to w niedawnym poście na X, wcześniej znanym jako Twitter. Nowy system, który wykorzystuje 100 000 kart graficznych Nvidia, to duży krok naprzód dla xAI i społeczności AI.
System Colossus korzysta z kart graficznych Nvidia H100, które są standardem w przetwarzaniu AI od 2022 r. System jest jednym z najbardziej zaawansowanych systemów szkoleniowych AI, jakie kiedykolwiek zbudowano. Musk mówi, że nowy system jest „najpotężniejszym systemem szkoleniowym AI na świecie”. Może nawet prześcignąć najszybsze superkomputery, takie jak Aurora Departamentu Energii USA.
W ten weekend @xAI zespół uruchomił nasz klaster szkoleniowy Colossus 100k H100. Od początku do końca zajęło to 122 dni.
Colossus to najpotężniejszy system szkoleniowy AI na świecie. Co więcej, jego rozmiar podwoi się do 200k (50k H200s) w ciągu kilku miesięcy.
Doskonały…
— Elon Musk (@elonmusk) 2 września 2024 r.
Siła napędowa mocy Kolosa
Moc obliczeniowa systemu Colossus pochodzi z procesora firmy Nvidia Chipsy H100. Te układy scalone należą do najpotężniejszych w branży AI i są przeznaczone do trenowania dużych modeli językowych. H100 Silnik transformatorowy module to zestaw obwodów zoptymalizowanych do uruchamiania modeli AI opartych na architekturze sieci neuronowej Transformer. Ta architektura jest używana w wielu najlepszych modelach AI, w tym Meta’s Llama 3.1 405B i OpenAI’s GPT-4.
Piżmo xAI Corp. otrzymało Inwestycja o wartości 6 miliardów dolarówpodnosząc swoją wycenę do 24 miliardy dolarów. To finansowanie jest częścią wysiłków Muska, aby konkurować z OpenAI, firmą, którą pozywa za naruszenie umowy. System Colossus jest szybszy niż superkomputer Aurora Departamentu Energii USA. Wykorzystuje zaawansowane karty graficzne H100 firmy Nvidia. Nowszy Chipsy H200 zaoferować ulepszenia, w tym przejście z Pamięć HBM3 do HBM3e i zwiększenie pojemności pamięci pokładowej 141 gigabajtówNiektóre z układów scalonych zasilających Colossusa były pierwotnie przeznaczone dla Tesli.
Dzisiejszy film przedstawiający wnętrze Cortexa, gigantycznego nowego superklastratu szkoleniowego AI, który powstaje w siedzibie Tesli w Austin w celu rozwiązywania problemów związanych ze sztuczną inteligencją w świecie rzeczywistym fot.twitter.com/DwJVUWUrb5
— Elon Musk (@elonmusk) 26 sierpnia 2024 r.
System ma ponad 100 000 chipów. Musk planuje podwoić liczbę chipów w systemie do 200 000, przy czym 50 000 to nowsze, szybsze procesory H200. H200 to ulepszona wersja H100. Ma dwie nowe funkcje, które czynią go szybszym i bardziej wydajnym. Te ulepszenia ułatwiają Colossusowi obsługę złożonych modeli AI.
W miarę postępu xAI Technologia AInowy system będzie kluczowy dla rozwoju modeli językowych nowej generacji. Główny model firmy, Grok-2, został wytrenowany przy użyciu 15 000 procesorów graficznych. Dzięki mocy 100 000 chipów Colossus, można tworzyć jeszcze bardziej zaawansowane modele. xAI planuje wypuścić nowy model do końca roku.
Oprócz przełomowych osiągnięć w dziedzinie AI, wykorzystanie przez xAI sprzętu Nvidia podkreśla rosnące zapotrzebowanie na potężne możliwości przetwarzania AI w różnych branżach. Fakt, że niektóre chipy używane w Colossus były pierwotnie przeznaczone dla Tesli, dodatkowo podkreśla znaczenie tej technologii w szerszej wizji Muska.
Źródło wyróżnionego obrazu: Furkan Demirkaja / Dall-E
