Ile prądu zużywają generatory AI?

Powszechnie wiadomo, iż uczenie maszynowe wykorzystuje m.in działka energii. Wszystkie te modele sztucznej inteligencji obsługujące podsumowania e-maili, królewskie chatbotyi filmy przedstawiające Homera Simpsona śpiewającego nu-metal, generują ogromny rachunek za serwer mierzony w megawatach na godzinę. Wydaje się jednak, iż nikt – choćby firmy stojące za tą technologią – nie może dokładnie powiedzieć, jaki jest koszt.

Istnieją szacunki, ale eksperci twierdzą, iż są one częściowe i przypadkowe i dają jedynie wgląd w całkowite zużycie energii przez sztuczną inteligencję. Dzieje się tak dlatego, iż modele uczenia maszynowego są niezwykle zmienne i można je konfigurować w sposób radykalnie zmieniający zużycie energii. Co więcej, organizacje najlepiej przygotowane do sporządzenia rachunku – firmy takie jak Meta, Microsoft i OpenAI – po prostu nie udostępniają odpowiednich informacji. (Judy Priest, dyrektor ds. technologii w chmurze i innowacji w firmie Microsoft powiedziała w e-mailu, iż firma „inwestuje w tej chwili w rozwój metodologii pozwalających na ilościowe określenie zużycia energii i wpływu sztucznej inteligencji na emisję dwutlenku węgla, pracując jednocześnie nad sposobami zwiększenia wydajności dużych systemów, w zarówno szkolenie, jak i aplikacja.” OpenAI i Meta nie odpowiedziały na prośby o komentarz.)

Jednym z ważnych czynników, jaki możemy zidentyfikować, jest różnica między szkoleniem modelu po raz pierwszy a wdrożeniem go u użytkowników. W szczególności szkolenia są niezwykle energochłonne i zużywają znacznie więcej energii niż tradycyjne działania w centrach danych. Na przykład trenowanie dużego modelu językowego, takiego jak GPT-3 szacowany zużywać niecałe 1300 megawatogodzin (MWh) energii elektrycznej; mniej więcej tyle samo mocy spożywane rocznie przez 130 domów w USA. Aby to ująć w kontekście, godzinne przesyłanie strumieniowe z serwisu Netflix wymaga około 0,8 kWh (0,0008 MWh) energii elektrycznej. Oznacza to, iż musiałbyś obejrzeć 1 625 000 godzin, aby zużyć taką samą ilość energii, jaka jest potrzebna do wytrenowania GPT-3.

Trudno jednak powiedzieć, jak ta liczba odnosi się do obecnych, najnowocześniejszych systemów. Zużycie energii mogłoby być większe, ponieważ od lat modele AI stale rosną, a większe modele wymagają więcej energii. Z drugiej strony firmy mogą korzystać z niektórych z nich sprawdzone metody zwiększenie efektywności energetycznej tych systemów, co osłabiłoby tendencję wzrostową kosztów energii.

Sasha Luccioni, badaczka we francusko-amerykańskiej firmie Hugging Face zajmującej się sztuczną inteligencją, wyzwaniem związanym z dokonywaniem aktualnych szacunków jest to, iż w miarę jak sztuczna inteligencja stała się rentowna, firmy stały się bardziej tajemnicze. Cofnijmy się zaledwie o kilka lat, a firmy takie jak OpenAI opublikują szczegóły swoich programów szkoleniowych – jaki sprzęt i na jak długo. Jednak tych samych informacji po prostu nie ma w przypadku najnowszych modeli, takich jak ChatGPT i GPT-4, mówi Luccioni.

„Dzięki ChatGPT nie wiemy, jak duży jest, nie wiemy, ile parametrów ma podstawowy model, nie wiemy, gdzie działa… Mogą to być trzy szopy w trenczu, bo po prostu tego nie wiesz wiedzieć, co kryje się pod maską.”

Luccioni, który jest autorem kilku artykułów analizujących wykorzystanie energii przez sztuczną inteligencję, sugeruje, iż ta tajemnica wynika częściowo z konkurencji między firmami, ale jest także próbą odejścia od krytyki. Statystyki zużycia energii przez sztuczną inteligencję – zwłaszcza jej najbardziej niepoważne przypadki użycia – w naturalny sposób zachęcają do porównań z marnotrawstwem kryptowaluty. „Rośnie świadomość, iż to wszystko nie jest za darmo” – mówi.

Szkolenie modelu to tylko część obrazu. Po utworzeniu system jest udostępniany klientom, którzy wykorzystują go do generowania wyników – jest to proces znany jako „wnioskowanie”. W grudniu ubiegłego roku Luccioni i współpracownicy z Hugging Face i Carnegie Mellon University opublikował artykuł (obecnie oczekuje na weryfikację), która zawierała pierwsze szacunki dotyczące wnioskowania dotyczącego zużycia energii przez różne modele sztucznej inteligencji.

Luccioni i jej współpracownicy przeprowadzili testy na 88 różnych modelach obejmujących szereg przypadków użycia, od odpowiadania na pytania po identyfikację obiektów i generowanie obrazów. W każdym przypadku wykonywali zadanie 1000 razy i oszacowali koszt energii. Większość testowanych przez nich zadań zużywa niewielką ilość energii, na przykład 0,002 kWh do klasyfikacji próbek pisemnych i 0,047 kWh do generowania tekstu. jeżeli dla porównania wykorzystamy godzinę oglądania filmów w serwisie Netflix, będzie to równoznaczne z energią zużytą na oglądanie odpowiednio dziewięciu sekund lub 3,5 minuty. (Pamiętaj: to koszt wykonania każdego zadania 1000 razy). Wartości były znacznie większe w przypadku modeli generowania obrazu, które zużywały średnio 2,907 kWh na 1000 wniosków. Jak zauważa gazeta, przeciętny telefon ładuje 0,012 kWh, więc generowanie jednego obrazu przy użyciu AI może zużywają prawie tyle samo energii, co ładowanie telefona.

Nacisk kładziony jest jednak na „może”, ponieważ liczby te niekoniecznie uogólniają się na wszystkie przypadki użycia. Luccioni i jej współpracownicy przetestowali dziesięć różnych systemów, od małych modeli wytwarzających maleńkie obrazy o wymiarach 64 x 64 piksele po większe generujące obrazy 4K, co zaowocowało ogromnym rozrzutem wartości. Naukowcy ustandaryzowali także używany sprzęt, aby lepiej porównać różne modele sztucznej inteligencji. Niekoniecznie odzwierciedla to wdrożenie w świecie rzeczywistym, gdzie oprogramowanie i sprzęt są często optymalizowane pod kątem efektywności energetycznej.

„Zdecydowanie nie jest to reprezentatywne dla przypadku użycia każdego użytkownika, ale teraz przynajmniej mamy pewne liczby” – mówi Luccioni. „Chciałem wbić flagę w ziemię i powiedzieć: «Zacznijmy od tego»”.

Badanie dostarcza zatem użytecznych danych względnych, choć nie liczb bezwzględnych. Pokazuje na przykład, iż modele sztucznej inteligencji wymagają większej mocy do wygenerowania danych wyjściowych niż w przypadku klasyfikacji danych wejściowych. Pokazuje również, iż wszystko, co zawiera obrazy, jest bardziej energochłonne niż tekst. Luccioni twierdzi, iż choć przypadkowy charakter tych danych może być frustrujący, to jednak opowiadają one historię samą w sobie. „Rewolucja generatywnej sztucznej inteligencji wiąże się z kosztami planetarnymi, które są nam całkowicie nieznane, a rozprzestrzenianie się jest dla mnie szczególnie orientacyjne” – mówi. „Tl;dr jest taki, iż po prostu nie wiemy.”

Zatem próba określenia kosztów energii wygenerowania jednego papieża Balenciagi jest trudna ze względu na gąszcz zmiennych. jeżeli jednak chcemy lepiej zrozumieć koszty planetarne, należy zastosować inną taktykę. Co się stanie, jeżeli zamiast skupiać się na wnioskowaniu o modelu, pomniejszymy obraz?

Takie jest podejście Alexa de Vriesa, doktoranta na VU Amsterdam, który zaciął sobie zęby, obliczając wydatki energetyczne Bitcoina na swoim blogu Digikonomistai który wykorzystał procesory graficzne Nvidia – złoty standard sprzętu AI – do oszacowania globalnego zużycia energii w sektorze. Jak wyjaśnia de Vries w komentarzu opublikowane w Dżul w ubiegłym roku Nvidia odpowiadała za około 95 procent sprzedaży na rynku sztucznej inteligencji. Firma publikuje również specyfikacje energetyczne swojego sprzętu i prognozy sprzedaży.

Łącząc te dane, de Vries oblicza, iż ​​do 2027 r. sektor sztucznej inteligencji mógłby zużywać od 85 do 134 terawatogodzin rocznie. To mniej więcej tyle samo, co roczne zapotrzebowanie na energię w Holandii, ojczyźnie de Vriesa.

„Mówicie o tym, iż do 2027 r. zużycie energii elektrycznej przez sztuczną inteligencję będzie potencjalnie wynosić pół procenta światowego zużycia energii elektrycznej do 2027 r.” – mówi de Vries Krawędź. „Myślę, iż to dość znacząca liczba”.

Niedawny raport Międzynarodowej Agencji Energetycznej oferował podobne szacunki, co sugeruje, iż zużycie energii elektrycznej przez centra danych znacznie wzrośnie w najbliższej przyszłości dzięki zapotrzebowaniu na sztuczną inteligencję i kryptowalutę. Agencja twierdzi, iż obecne zużycie energii w centrach danych wyniesie około 460 terawatogodzin w 2022 r. i może wzrosnąć do 620–1050 TWh w 2026 r., co odpowiada zapotrzebowaniu na energię odpowiednio Szwecji i Niemiec.

Ale de Vries twierdzi, iż ważne jest umieszczenie tych liczb w kontekście. Zauważa, iż ​​w latach 2010–2018 zużycie energii w centrach danych utrzymywało się na dość stabilnym poziomie i stanowiło około 1–2 procent światowego zużycia. (Kiedy mówimy tutaj o „centrach danych”, mamy na myśli wszystko, co składa się na „internet”: od wewnętrznych serwerów korporacji po wszystkie aplikacje, z których nie można korzystać w trybie offline na telefonie.) Popyt z pewnością wzrósł w tym okresie, mówi de Vries, ale sprzęt stał się bardziej wydajny, kompensując w ten sposób wzrost.

Obawia się, iż w przypadku sztucznej inteligencji sytuacja może wyglądać inaczej właśnie ze względu na tendencję firm do po prostu rzucania większymi modelami i większą ilością danych do każdego zadania. „To naprawdę zabójcza dynamika dla wydajności” – mówi de Vries. „Ponieważ stwarza to naturalną zachętę dla ludzi, aby po prostu dodawać więcej zasobów obliczeniowych, a gdy tylko modele lub sprzęt staną się bardziej wydajne, ludzie sprawią, iż modele będą jeszcze większe niż wcześniej”.

Nie da się odpowiedzieć na pytanie, czy wzrost wydajności zrównoważy rosnący popyt i zużycie. Podobnie jak Luccioni, de Vries ubolewa nad brakiem dostępnych danych, ale twierdzi, iż świat nie może po prostu ignorować tej sytuacji. „Trochę trudno było ustalić, w jakim kierunku to wszystko zmierza, i z pewnością nie jest to liczba idealna” – mówi. „Ale to wystarczająca podstawa, aby dać trochę ostrzeżenia”.

Niektóre firmy zajmujące się sztuczną inteligencją twierdzą, iż sama technologia może pomóc w rozwiązaniu tych problemów. Priest przemawiając w imieniu Microsoftu, powiedział, iż sztuczna inteligencja „będzie potężnym narzędziem do udoskonalania rozwiązań w zakresie zrównoważonego rozwoju” i podkreśliła, iż ​​Microsoft pracuje nad osiągnięciem „celów w zakresie zrównoważonego rozwoju, takich jak ograniczenie emisji gazów cieplarnianych, dodatnie zużycie wody i zerowa ilość odpadów do 2030 r.”.

Jednak cele jednej firmy nigdy nie będą w stanie objąć pełnego zapotrzebowania całej branży. Mogą być potrzebne inne podejścia.

Luccioni twierdzi, iż chciałaby, aby firmy wprowadziły oceny w postaci gwiazdek energetycznych dla modeli AI, umożliwiając konsumentom porównywanie efektywności energetycznej w taki sam sposób, jak w przypadku urządzeń. Zdaniem de Vriesa nasze podejście powinno być bardziej fundamentalne: czy w ogóle musimy używać sztucznej inteligencji do określonych zadań? „Ponieważ biorąc pod uwagę wszystkie ograniczenia sztucznej inteligencji, prawdopodobnie nie będzie to adekwatne rozwiązanie w wielu miejscach i będziemy marnować mnóstwo czasu i zasobów, próbując to na własnej skórze” – mówi.