Chatbot Vicuna-13B AI został wprowadzony jako chatbot typu open source, który jest szkolony przy użyciu dostrajania LLaMA z konwersacjami udostępnianymi przez użytkowników zebranymi z ShareGPT. Ten chatbot przeszedł wstępną ocenę z wykorzystaniem GPT-4 jako punktu odniesienia, co pokazuje, że osiąga ponad 90%* jakości w porównaniu z innymi popularnymi chatbotami, takimi jak OpenAI ChatGPT i Google Bard. Vicuna-13B przewyższa również inne modele, takie jak LLaMA i Stanford Alpaca, w ponad 90%* przypadków.
Pomimo tego, że jest prawie dwa razy większy od Stanford Alpaca, Vicuna-13B kosztuje tylko około 300 dolarów, czyli połowę ceny alpaki. Dzieje się tak, ponieważ dane ShareGPT, z których szkolona jest Vicuna, są ogólnodostępne, podczas gdy Stanford generował własne dane za pośrednictwem API OpenAI. W związku z tym Vicuna ponosi jedynie koszty szkolenia. Podobnie jak model Stanford, Vicuna-13B jest udostępniana wyłącznie do celów niekomercyjnych.
Według zespołu odpowiedzialnego za Vicuna, chatbot zademonstrował znacznie lepiej ustrukturyzowane i bardziej szczegółowe odpowiedzi niż Alpaca podczas testów pytań porównawczych po dopracowaniu danych ShareGPT. Zespół twierdzi, że jakość odpowiedzi chatbota Vicuna-13B AI jest porównywalna z odpowiedziami zapewnianymi przez ChatGPT.
GPT-4 może porównywać wyniki różnych chatbotów, ale zespół chatbotów Vicuna-13B AI uważa tę metodę za „nienaukową” i konieczne są dalsze badania – Zdjęcie: LmSys
Aby dokładniej ocenić wydajność chatbota Vicuna-13B AI, zespół wykorzystuje GPT-4, najnowszy model OpenAI. GPT-4 umożliwia zespołowi konsekwentne klasyfikowanie i ocenianie różnych chatbotów w szczegółowy sposób, zapewniając w ten sposób bardziej wszechstronną ocenę możliwości Vicuna.
Czym jest chatbot AI Vicuna-13B?
Vicuna to chatbot typu open source, który został dopracowany przy użyciu około 70 000 konwersacji udostępnionych przez użytkowników uzyskanych z ShareGPT.com za pośrednictwem publicznych interfejsów API. Chatbot Vicuna-13B AI jest oparty na LLaMA, który został dopracowany w celu optymalizacji jego wydajności. Aby zapewnić jakość danych, zespół badawczy przekonwertował format HTML z powrotem na markdown i usunął próbki nieodpowiednie lub niskiej jakości. Ponadto podzielili długie rozmowy na mniejsze części, które pasowałyby do maksymalnej długości kontekstu modelu.
Zespół badawczy opracował kilka ulepszeń przepisu treningowego alpaki Stanforda, aby poprawić wydajność Vicuna. Te ulepszenia obejmują:
- Optymalizacje pamięci: Zespół rozszerzył maksymalną długość kontekstu z 512 w Alpaca do 2048, co pozwoliło na lepsze zrozumienie długich rozmów. Spowodowało to jednak znaczny wzrost wymagań pamięci GPU. Aby temu zaradzić, zespół wykorzystał punkty kontrolne gradientu i błyskawiczną uwagę, aby zarządzać presją pamięci.
- Rozmowy wieloetapowe: Zespół skorygował stratę treningową, aby uwzględnić wielorundowe rozmowy i obliczył stratę dostrajającą tylko na podstawie danych wyjściowych chatbota.
- Redukcja kosztów dzięki instancji Spot: Szkolenie z 40-krotnie większym zbiorem danych i 4-krotnie większą długością sekwencji stanowiło znaczne wyzwanie kosztowe. Aby obniżyć koszty, zespół wykorzystał spot zarządzany przez SkyPilot, który wykorzystywał tańsze instancje spot z automatycznym odzyskiwaniem dla wywłaszczania i automatycznym przełączaniem stref.
Różne optymalizacje wprowadzone do Vicuna umożliwiają chatbotowi lepsze rozumienie i reagowanie na złożone rozmowy. Dodatkowo strategie redukcji kosztów sprawiają, że Vicuna jest tańszą opcją dla programistów i badaczy budujących systemy chatbotów.
Aby wyszkolić chatbota Vicuna-13B AI, zespół badawczy zebrał około 70 000 rozmów z ShareGPT.com, platformy, na której użytkownicy mogą udostępniać swoje rozmowy ChatGPT. Skrypty szkoleniowe dostarczone przez firmę Alpaca zostały zmodyfikowane, aby lepiej radziły sobie z długimi sekwencjami i wielorundowymi rozmowami. Zespół wykorzystał PyTorch FSDP na ośmiu procesorach graficznych A100, aby wyszkolić Vicuna w zaledwie jeden dzień.
Implementacja demonstracyjna wykorzystywała lekki, rozproszony system obsługujący, który może obsługiwać wiele modeli przy użyciu rozproszonych pracowników. Ten system obsługuje elastyczne wtyczki procesów roboczych GPU zarówno z klastrów w chmurze, jak i lokalnych. Aby obniżyć koszty obsługi, zespół użył kontrolera odpornego na awarie i zarządzał funkcjami punktowymi w SkyPilot, które wykorzystywały tańsze instancje punktowe z wielu chmur.
Jak korzystać z chatbota AI Vicuna-13B?
Możesz wypróbować chatbota AI Vicuna-13B, wykonując następujące kroki:
- Iść do lmsys.org
- Wybierz „vicuna-13b” z rozwijanego menu
- Poniżej zobaczysz okienko z napisem „Wpisz tekst i naciśnij ENTER”
- Zapytaj o co chcesz i kliknij Prześlij.
Otóż to! Warto zauważyć, że obecna wersja Vicuna jest modelem demonstracyjnym, a oryginalne wydanie może mieć inne funkcje. W związku z tym użytkownicy powinni pamiętać, że wydajność i możliwości wydanej wersji mogą różnić się od modelu demonstracyjnego.
Niemniej jednak model demonstracyjny zapewnia cenny wgląd w potencjalne możliwości chatbota Vicuna-13B AI i stanowi obiecujący przykład możliwości narzędzi open source.
Jak dobry jest chatbot Vicuna-13B AI?
Firma zaprezentowała odpowiedzi Alpaca i Vicuna na ich pytania wzorcowe. Po dopracowaniu Vicuna za pomocą 70 000 konwersacji ChatGPT udostępnionych przez użytkowników odkryto, że Vicuna jest w stanie generować bardziej szczegółowe i lepiej ustrukturyzowane odpowiedzi niż Alpaca. Jakość odpowiedzi chatbota Vicuna-13B AI jest porównywalna z odpowiedziami udzielanymi przez ChatGPT.
Poniżej możesz zobaczyć przykładowe podpowiedzi i odpowiedzi z obu modeli, udostępnione w dokumentacja:
Chatbot AI Vicuna-13B: „Aloha, towarzysze podróży! Jeśli szukasz tropikalnego raju z bogatą kulturą i zapierającymi dech w piersiach krajobrazami, nie szukaj dalej niż Hawaje. Moja ostatnia podróż do stanu Aloha była niezapomnianą przygodą, wypełnioną ekscytującymi doświadczeniami kulturalnymi i atrakcjami, które trzeba zobaczyć.
Przede wszystkim byłem zachwycony ciepłym i gościnnym duchem Hawajczyków. Od chwili, gdy przyjechałem, czułem się jak w domu i zostałem powitany z otwartymi ramionami przez miejscowych. Niezależnie od tego, czy był to personel hotelu, mój przewodnik, czy przyjaźni nieznajomi, których spotkałem na ulicy, wszyscy, których spotkałem, chętnie dzielili się swoją miłością do swojego rodzinnego kraju.
Jednym z najbardziej pamiętnych doświadczeń kulturalnych, jakie miałem, było uczestnictwo w tradycyjnym hawajskim luau. Podczas tego świątecznego wydarzenia zostałem potraktowany pyszną ucztą lokalnej kuchni, w tym poi, laulau i świni kalua, a wszystko to podczas słuchania hipnotycznego rytmu hula. Tancerze, ubrani w piękne stroje tubylców, swoimi ruchami opowiadali o wyspach i ich historii. To był naprawdę magiczny wieczór, który pozwolił mi obcować z bogatym dziedzictwem Hawajów.
Kolejną atrakcją, którą trzeba zobaczyć, która mnie zachwyciła, było zapierające dech w piersiach piękno Parku Narodowego Haleakala. W parku znajduje się uśpiony wulkan, największy na wyspie, który oferuje wspaniałe wędrówki o wschodzie lub zachodzie słońca. Gdy słońce wschodziło nad horyzontem, uderzyły mnie żywe kolory i surowe piękno krajobrazu. Było to doświadczenie, które naprawdę mnie upokorzyło i którego nigdy nie zapomnę.
Oczywiście żadna wycieczka na Hawaje nie byłaby kompletna bez spędzenia czasu na plaży. Dzięki krystalicznie czystej wodzie, złotemu piaskowi i łagodnym falom plaża Wailea była idealnym miejscem na relaks i rozkoszowanie się słońcem. Niezależnie od tego, czy jesteś zapalonym surferem, plażowym włóczęgą, czy po prostu szukasz relaksu, plaże na Hawajach z pewnością skradną Twoje serce.
Podsumowując, Hawaje były prawdziwym rajem, który przerósł moje wszelkie oczekiwania. Od chwili, gdy wysiadłem z samolotu, byłem zanurzony w kulturze, która była bogata, tętniąca życiem i pełna życia. Przy tak wielu atrakcjach, które trzeba zobaczyć i niezapomnianych przeżyciach, Hawaje są idealnym miejscem dla każdego podróżnika szukającego odrobiny przygody, kultury i relaksu. Mahalo za czytanie i mam nadzieję, że wkrótce zobaczymy się na Hawajach!”
Nie zapomnij sprawdzić naszego szybkiego porównania ChatGPT, jeśli lubisz badać chatboty AI!
Wniosek
Chatbot Vicuna-13B AI to bardzo obiecujące narzędzie typu open source, które wykazuje imponujące możliwości generowania dobrze ustrukturyzowanych i szczegółowych odpowiedzi, w wielu przypadkach przewyższając niektóre z istniejących modeli. Ponieważ wiele modeli językowych jest szkolonych dla różnych chatbotów, przyszłość konwersacyjnej sztucznej inteligencji wygląda coraz bardziej interesująco.
Potencjał chatbotów w zakresie poprawy obsługi klienta, zapewniania spersonalizowanych doświadczeń i ułatwiania różnych zadań jest ogromny, a Vicuna jest świadectwem siły współpracy open source w przesuwaniu granic technologii chatbotów. W miarę rozwoju badań w tej dziedzinie możemy spodziewać się jeszcze bardziej ekscytujących postępów w zakresie możliwości chatbotów.
