Obciążenia sztucznej inteligencji (AI) są zupełnie inne niż te, które widzieliśmy wcześniej w przedsiębiorstwie. A w różnych fazach pracy AI, profilu wejścia/wyjścia (I/O) i wpływ na magazynowanie może się znacząco różnić.
Po intensywnym szkoleniu, dajemy AI pracę, wnioskowanie z tego, czego się nauczyła. Musimy również wziąć pod uwagę używane ramy AI i ich cechy, a także wymagania dotyczące magazynowania z generacja wspomagana wyszukiwaniem (RAG) odwoływanie się i tworzenie punktów kontrolnych.
Pytaliśmy o to wszystko, gdy się spotkaliśmy Nvidia wiceprezes i dyrektor generalny DGX Systems, Charlie Boyle, na niedawnym wydarzeniu Pure Storage Accelerate w Las Vegas.
W tej pierwszej części dwuczęściowego cyklu Boyle omawia najważniejsze wyzwania związane z danymi, przed którymi stają klienci rozpoczynający projekty z zakresu sztucznej inteligencji, praktyczne wskazówki dla klientów rozpoczynających przygodę ze sztuczną inteligencją oraz różnice między typami obciążeń AItakie jak szkolenie, dostrajanie, wnioskowanie, RAG i punkty kontrolne.
Jakie największe wyzwanie w zakresie danych dla sztucznej inteligencji widzisz dla klientów?
Największym wyzwaniem jest wiedza, jakie dane są dobre dla Twojej sztucznej inteligencjiktóre dane są dla niego szkodliwe, a które mogą nie mieć znaczenia.
Dobre dane zapewnią lepsze spostrzeżenia i dokładniejsze wyniki. Oczywiście, niezależnie od tego, czy robisz chatbota, czy cokolwiek innego, te dane zapewnią adekwatną odpowiedź użytkownikowi końcowemu. To, co uznałbym za złe dane, to dane, które mogą zaciemniać odpowiedź i nie dodają wartości.
To mogą być stare dane. jeżeli robię chatbota obsługi klienta i jest to zgłoszenie pomocy technicznej sprzed 15 lat, czy to jest pomocne? Może tak, może nie. Ty, w swoim własnym przedsiębiorstwie, w swojej własnej domenie, musisz dokonać tego rozróżnienia.
Jeśli jest to pytanie do helpdesku sprzed 15 lat, może ono brzmieć: czy linia telefoniczna jest podłączona do modemu? To już do Ciebie nie pasuje.
Ale w kontekście produkcji z infrastrukturą w fabryce, niektóre z tych aktywów kapitałowych mogły być używane przez 20, 30 lat. Więc ten jeden bilet pomocy technicznej dotyczący problemu, który wydarzył się 15 lat temu, który zdarza się tylko raz na dekadę w przypadku tego produktu produkcyjnego, może być dla Ciebie super przydatny.
Więc dużą częścią AI dla przedsiębiorstw jest zrozumienie danych, które posiadasz. Kiedy mówimy o rozpoczęciu pracy z AI, zawsze łatwiej jest zacząć od danych, które uważasz za bezpieczne.
Jeśli zamierzam stworzyć chatbota, a mój zestaw danych szkoleniowych będzie zawierał zgłoszenia problemów IT z ostatnich 24 miesięcy, to prawdopodobnie będzie superbezpieczne. To wewnętrzna sprawa. Została opracowana przez ekspertów, ponieważ ludzie z IT wzięli problem i napisali notatki. Albo są to dane korporacyjne, które zostały sprawdzone, informacje z moich komunikatów prasowych, z moich zgłoszeń do SEC, na przykład rzeczy, o których wiem, iż prawnie muszą być dokładne.
Albo oto informacje ze wszystkich moich publicznie dostępnych danych marketingowych na stronie internetowej, takich jak arkusze danych i informacje o produktach. Człowiek spojrzał na to i pomyślał, iż napisał to poprawnie. Więc łatwo zacząć.
Ale potem jako przedsiębiorstwo myślisz, mam 20 lat danych. Co mam zrobić z tymi wszystkimi rzeczami? Czy mogę tworzyć spostrzeżenia? I to jest to, czego potrzebujesz do tego pierwszego zwycięstwa AI. Musisz pokazać ludziom, iż jest to przydatne. A następnie krok po kroku przejrzyj, co byłoby kolejną najbardziej przydatną rzeczą dla moich użytkowników? Ci użytkownicy mogą być użytkownikami wewnętrznymi lub zewnętrznymi.
Stwórz hipotezę. Szkolenie AI jest dość łatwe, ponieważ można je przeprowadzić, dostrajając istniejące modele. Nie musisz już czekać sześciu miesięcy, aby zbudować model podstawowy, taki jak GPT-3 lub GPT-4.
Możesz użyć gotowego modelu, takiego jak Llama, dostroić go do swojej domeny i zrobić to w ciągu kilku tygodni. Albo dnia, w zależności od rozmiaru modelu i infrastruktury obliczeniowej.
Adshead: Jakie są Twoje najważniejsze wskazówki dla klientów, którzy chcą wykorzystać sztuczną inteligencję?
Pierwszą rzeczą byłoby to, iż jest mnóstwo gotowych aplikacji AI, do których wystarczy dodać swoje dane. Mamy duży katalog na stronie Nvidia. Są strony takie jak Hugging Face, tego typu rzeczy, gdzie użytkownicy nie tylko używali modeli, ale też je komentowali.
Najczęściej widzimy chatboty. choćby moi najbardziej zaawansowani użytkownicy AI, ludzie, którzy mają doktoraty w tej dziedzinie, kiedy z nimi rozmawiam, to jest coś w stylu: chłopaki, nie musicie kodować chatbota. Wszystkie przykłady chatbotów istnieją na świecie.
Nie musisz kodować chatbota. Wszystkie przykłady chatbota istnieją na świecie. Wybierz jeden, aby zacząć. Dostosuj go do swoich potrzeb. Nie potrzebujesz doktoratu, aby zacząć w AI
Wybierz jeden, aby zacząć. Dostosuj go do swoich potrzeb. Nie potrzebujesz doktoratu, aby zacząć w AI.
Wybierz więc gotowy model. W wielu miejscach, w tym na naszej stronie, możesz całkowicie wypróbować gotowy model całkowicie online. Nie musisz wkładać do niego żadnych własnych danych.
Możesz więc powiedzieć, poeksperymentować, na przykład, co ten typ modelu robi dla mnie? Na jakie pytania mogę odpowiedzieć za jego pomocą? Możesz zdecydować, czy jest to przydatne dla Twojej firmy, czy będzie dobrym chatbotem IT lub dobrym wyszukiwaniem obsługi klienta.
Jeśli masz ogromną witrynę internetową lub bibliotekę dokumentacji produktów, to umieszczenie tam chatbota jest łatwym i bezpiecznym rozwiązaniem.
Jako użytkownik IT, jako użytkownik korporacyjny, nie musisz być ekspertem od chatbotów, aby wymyślić model. Modele istnieją. Musiałeś tylko nakarmić go własnymi danymi. Wybierz model, który Twoim zdaniem działa i umieść w nim własne dane.
Ale włóż do tego dane, które są publicznie dostępne, ponieważ nie masz tam żadnego ryzyka zgodności. Więc to nie jest tak, iż ups, wyciekły jakieś poufne informacje firmy. jeżeli wytrenuję to na stronie internetowej, która zawiera wszystkie publicznie dostępne informacje, to jesteś bezpieczny.
A gdy już przejdziesz przez te kilka eksperymentów, przejrzyj katalogi modeli i sprawdź, czy znajdziesz rozwiązanie, które rozwiązałoby konkretny problem w Twojej firmie i któremu chciałbyś poświęcić miesiąc lub trzy miesiące pracy.
Jakie są różnice w zakresie profilu I/O między szkoleniem, dostrajaniem szkolenia, wnioskowaniem, pracą z RAG, różnymi ramami używanymi w AI? Jakie są wymagania dotyczące punktów kontrolnych? I czego wymagają od pamięci masowej?
Jeśli jest to duży model, który trenujesz od podstaw potrzebujesz bardzo szybkiego magazynu ponieważ w dużej mierze sposób, w jaki działa szkolenie AI, polega na tym, iż wszyscy trafiają na ten sam plik w tym samym czasie, ponieważ wszystko odbywa się równolegle. Wymaga to bardzo szybkiego przechowywania, bardzo szybkiego pobierania. Jest to w większości zorientowane na odczyt.
W przypadku punktów kontrolnych jest to bardzo intensywne pod względem wejścia/wyjścia, ponieważ istnieje proporcjonalny stosunek do zestawu danych treningowych. jeżeli trenowałbyś tylko jeden węzeł, prawdopodobieństwo awarii jednego węzła, połączenia sieciowego jednego węzła, jest bardzo małe. Tak więc, jeżeli mogę wykonać trening na jednym węźle i zajmie mi to cztery godziny, prawdopodobnie nie muszę tworzyć punktów kontrolnych.
W mało prawdopodobnym przypadku, gdyby coś się wydarzyło, mogę powtórzyć cztery godziny. Jest też przeciwna skrajność, którą często widzimy w bardzo dużych modelach językowych lub technologii samochodów autonomicznych, gdzie przebieg szkolenia może trwać trzy tygodnie, może trwać trzy miesiące, może obejmować tysiące węzłów obliczeniowych. Masz gwarancję, iż przy tak dużym klastrze i tak długim zestawie treningowym coś się wydarzy.
Promień kosmiczny uderzy w coś w tym klastrze, co spowoduje jakiś błąd. A jeżeli nie ustawisz punktu kontrolnego, możesz dostać się na przykład w dwa miesiące, a jeżeli nie ustawisz punktu kontrolnego, musisz zacząć od nowa.
Więc pytanie brzmi, jak często robię checkpoint? Ponieważ kiedy robię checkpoint, wszystkie obliczenia się zatrzymują. A wszystko kręci się wokół zapisów. I wszyscy piszą w tym samym czasie.
Gdy ustawiasz punkt kontrolny, w idealnym klastrze wszyscy kończą dokładnie w tym samym czasie. W dobrze dostrojonym klastrze, są w ciągu kilku sekund. A potem okazjonalnie, w bardzo dużym klastrze, możesz mieć kilka węzłów, które z jakiegoś powodu mogą być trochę wolniejsze od innych. Może dryfują przez kilka minut.
Ale kiedy wszyscy mówią, iż dotarliśmy do 10 km, wszyscy się zatrzymują i wszyscy piszą. W zależności od tego, jak duży jest twój model, jak duże są twoje dane, może to być bardzo długi zapis. Czasami ten zapis trwa ponad godzinę.
