W tym podcaście przyglądamy się wpływowi przetwarzanie sztucznej inteligencji (AI) w zakresie przechowywania danych z Shawnem Rosemarinem, wiceprezesem ds. badań i rozwoju w zakresie inżynierii klienta w Pure Storage.
Mówimy o tym, jak sztuczna inteligencja zmienia dane przedsiębiorstwa w istotne źródło wiedzy dla biznesu, ale także o wyzwaniach stojących przed złożonością operacji AI, potrzebą przenoszenia danych, szybki dostęp do magazynu oraz możliwość rozszerzenia pojemności do chmury.
Rosemarin mówi także o szczególnych formach danych występujących w sztucznej inteligencji takie jak wektory i punkty kontrolne, a także potrzebę gęstej, szybkiej, zrównoważonej i łatwej w zarządzaniu infrastruktury do przechowywania danych.
Antony Adshead: Czym różnią się obciążenia AI?
Shawn Rosemarin: Myślę, iż najciekawszą częścią tego jest przede wszystkim dostosowanie sztucznej inteligencji do następnej iteracji analityki.
Widzieliśmy wywiad gospodarczy. Widzieliśmy analizy. Zobaczyliśmy to, co nazwaliśmy nowoczesną analityką. Teraz widzimy sztuczną inteligencję.
Różnica polega na tym, iż ostatecznie patrzymy na korpus danych, a nie tylko na ogólny korpus, na jaki patrzymy w ChatGPT, ale na indywidualne zbiory danych w każdym przedsiębiorstwie, które w rzeczywistości stają się teraz w zasadzie złotem zbieranym w tych modelach; biblioteki, które w tej chwili trenują wszystkie te modele.
Zatem, jeżeli pomyślimy o ilości danych, które reprezentują, jest to jeden element. Inną rzeczą jest to, iż musisz teraz pomyśleć o elemencie wydajności, jakim jest faktyczne pobieranie wszystkich tych ilości danych i możliwość uczenia się na ich podstawie.
Następnie pojawia się kolejny element, który mówi: „Muszę zintegrować wszystkie te źródła danych we wszystkich różnych silosach mojej organizacji, a nie tylko dane przechowywane lokalnie, dane przechowywane w chmurze, dane, które ja Kupuję ze źródeł zewnętrznych, dane przechowywane w SaaS [software as a service]’.
I na koniec powiedziałbym, iż jest w tym ogromny element ludzki. To jest nowa technologia. Na tym konkretnym etapie jest to dość skomplikowane, chociaż wszyscy wierzymy, iż zostanie ustandaryzowane i będzie wymagać personelu, a także zestawu umiejętności, których większość organizacji nie ma na wyciągnięcie ręki.
Czego potrzebuje pamięć masowa, aby poradzić sobie z obciążeniami AI?
Rozmaryn: Podsumowując, jeżeli pomyślimy o ewolucji pamięci masowej, zauważymy kilka rzeczy.
Po pierwsze, myślę, iż nikt w tym momencie nie ma wątpliwości, iż dyski twarde idą w kierunku dodo. I przechodzimy do całego flashaze względu na niezawodność, ze względu na wydajność, a ostatecznie ze względu na ekonomię środowiskową.
Kiedy jednak myślimy o pamięci masowej, największą przeszkodą w sztucznej inteligencji jest tak naprawdę jej przemieszczanie. Zajmuje bloki pamięci i przenosi je w celu zaspokojenia określonych obciążeń o wysokiej wydajności.
To, czego naprawdę potrzebujemy, to architektura centralnej pamięci masowej, której można używać nie tylko do gromadzenia informacji, ale także do szkolenia i interpretacji tych szkoleń na rynku.
Ostatecznie mówię o wydajności aby nakarmić głodne procesory graficzne. Mówimy o opóźnieniu, więc gdy korzystamy z modeli wnioskowania, nasi konsumenci uzyskują odpowiedzi tak szybko, jak to możliwe, bez czekania. Mówimy o pojemności i skali. Mówimy o niezakłóconych aktualizacjach i rozszerzeniach.
W miarę jak zmieniają się nasze potrzeby, a usługi te stają się coraz ważniejsze dla naszych użytkowników, nie musimy ograniczać środowiska, aby móc dodać dodatkową pamięć masową.
Ostatnim, ale nie najmniej ważnym elementem jest wykorzystanie chmury: możliwość łatwego rozszerzenia tych wolumenów na chmurę. jeżeli chcemy przeprowadzić to szkolenie lub wnioskowanie w chmurze, a następnie oczywiście wykorzystać je jako usługę, odchodząc od tych ogromnych zastrzyków CapEx z góry i zamiast tego starać się zużywać pamięć, której potrzebujemy, kiedy jej potrzebujemy i całkowicie w 100% przez umowy o poziomie usług i usługi jako usługa.
Czy jest coś na temat sposobów przechowywania danych na potrzeby sztucznej inteligencji, np. wykorzystanie wektorów, punktów kontrolnych lub struktur stosowanych w sztucznej inteligencji, takich jak TensorFlow i PyTorch, które dyktują, w jaki sposób musimy przechowywać dane w przypadku sztucznej inteligencji?
Rozmaryn: Tak, zdecydowanie tak, szczególnie jeżeli porównamy to ze sposobem, w jaki pamięć była wykorzystywana w przeszłości w relacyjnych bazach danych lub ochronie danych.
Kiedy myślisz o wektorowych bazach danych, kiedy myślisz o wszystkich frameworkach AI i myślisz o tym, w jaki sposób te zbiory danych są dostarczane do procesorów graficznych, pozwól, iż podam ci analogię.
Zasadniczo, jeżeli myślisz o procesorach graficznych, czyli bardzo kosztownych inwestycjach poczynionych przez przedsiębiorstwa i chmury, pomyśl o nich jak o doktorantach. Pomyśl o nich jako o bardzo drogich, bardzo utalentowanych, bardzo mądrych ludziach, którzy pracują w twoim środowisku. Chcesz mieć pewność, iż zawsze mają coś do zrobienia, a co ważniejsze, abyś po ukończeniu pracy był przy nich, aby odebrać tę pracę i mieć pewność, iż przyniesiesz im kolejny tom pracy.
Dlatego w świecie sztucznej inteligencji usłyszysz koncepcję wektorowych baz danych i punktów kontrolnych. Zasadniczo oznacza to: „Przechodzę z relacyjnej bazy danych do wektorowej bazy danych”. Zasadniczo, gdy moje informacje są sprawdzane, są one sprawdzane w ramach wielu dynamiki.
Nazywamy te parametry, ale zasadniczo patrzymy na dane ze wszystkich stron. A procesory graficzne informują pamięć masową, czego sprawdzały i na jakim etapie są przy konkretnym obciążeniu.
Wpływ na pamięć jest taki, iż wymusza znacznie więcej zapisów. A kiedy pomyślisz o odczytach i zapisach, są one bardzo ważne z profilu wydajności. Kiedy myślisz w szczególności o pismach, są to bardzo małe zapisy. Są to w zasadzie zakładki informujące o tym, gdzie aktualnie znajdują się w swojej pracy.
A to w rzeczywistości wymusza zupełnie inny profil wydajności niż ten, do którego wielu jest przyzwyczajonych. Tworzy nowe profile wydajności dla tego, co szczególnie rozważamy podczas treningu.
Teraz wnioskowanie dotyczy wyłącznie opóźnień i uczenia. Wszystko zależy od IOP. Aby jednak odpowiedzieć bardzo szczegółowo na Twoje pytanie, wymusza to znacznie wyższy współczynnik zapisu niż tradycyjnie rozpatrywany. Sugeruję Twoim odbiorcom, iż sprawdzanie 80% zapisów i 20% odczytów w środowisku szkoleniowym jest o wiele bardziej odpowiednie niż w przypadku, gdy tradycyjnie patrzylibyśmy na 50/50.
Jak według Ciebie będzie wyglądać pamięć masowa dla przedsiębiorstw za pięć lat wraz ze wzrostem wykorzystania sztucznej inteligencji?
Rozmaryn: Lubię myśleć o przechowywaniu trochę jak opony w samochodzie.
W tej chwili wszyscy są bardzo skupieni na podwoziu swojego samochodu. Koncentrują się bardzo na procesorach graficznych i wydajności, a także na tym, jak gwałtownie mogą działać i co mogą zapewnić.
Ale rzeczywistość jest taka, iż prawdziwą wartością w tym wszystkim są dane, które wydobywasz; jakość tych danych, wykorzystanie tych danych w tych modelach szkoleniowych, aby faktycznie dać ci przewagę – czy to personalizacja i marketing, czy to handel o wysokiej częstotliwości, jeżeli jesteś bankiem lub znasz swojego klienta, czy to opieka nad pacjentem w placówka służby zdrowia.
Kiedy spojrzymy w przyszłość pamięci masowej, myślę, iż pamięć masowa zostanie dostrzeżona i uznana za absolutnie kluczową w zwiększaniu wartości końcowej projektów AI.
Myślę, iż wyraźnie widzimy coraz gęstsze macierze pamięci masowej. W Pure zajęliśmy się już tym marketingiem. Do 2026 r. będziemy mieć dyski o pojemności 300 TB. Myślę, iż znacząco za tym stoi przemysł standardowych dysków półprzewodnikowych. Myślę, iż ich celem jest uzyskanie około 100 TB w tym samym przedziale czasowym, ale myślę, iż w dalszym ciągu będziemy widzieć coraz gęstsze dyski.
Myślę, iż wraz z tą gęstością zobaczymy także coraz mniejsze zużycie energii. Nie ma wątpliwości, iż energia i dostęp do niej to cichy zabójca w rozwoju sztucznej inteligencji, dlatego najważniejsze będzie osiągnięcie punktu, w którym będziemy mogli zużywać mniej energii, aby móc wykonywać więcej obliczeń.
Na koniec doszedłbym do punktu autonomicznego przechowywania. Wkładanie coraz mniej energii – ludzkiej energii, siły roboczej – w codzienne operacje, modernizacje, rozbudowę i dostrajanie systemów magazynowania jest tym, o co naprawdę proszą przedsiębiorstwa, aby ostatecznie umożliwić im skupienie swojej ludzkiej energii na budowaniu systemy jutra.
Tak więc, jeżeli się nad tym zastanowić, naprawdę: gęstość, efektywność energetyczna i prostota.
Następnie myślę, iż koszt gigabajta kosztu jednego TB na rynku będzie przez cały czas spadał, co umożliwi coraz większą konsumeryzację pamięci masowej i umożliwi organizacjom faktyczne wykorzystanie coraz większej ilości danych przy tej samej ilości inwestycja.
