Zasilanie i wydajne chłodzenie są niezbędne do działania centrum danych. Dotyczy to w równym stopniu hiperskalera w chmurze, komercyjnego obiektu kolokacyjnego, jak i własnego centrum danych przedsiębiorstwa. Bez wystarczającej mocy i możliwości usuwania nadmiaru ciepła serwery nie mogą działać.
Zapotrzebowanie na energię i tanią przestrzeń, w połączeniu z lepszą łącznością i automatyzacją, umożliwiło operatorom centrów danych opuszczenie obszarów miejskich. W Europie oznaczało to odejście od dzielnic biznesowych. W USA operatorzy wybrali stany takie jak Arizona, Nevada i Teksas, gdzie ziemia jest tania.
Jednak rozwój technologii obliczeniowej i popyt na usługi takie jak sztuczna inteligencja (AI) zmieniają mechanikę i ekonomikę rozwoju centrów danych.
Po obu stronach Atlantyku, presja na sieci energetyczne i zaopatrzenie w wodę jest ograniczający rozwój. Oczekuje się, iż popyt będzie przez cały czas gwałtownie rósł, ponieważ operatorzy będą chcieli umieścić w swoich lokalizacjach więcej sprzętu, projektanci komputerów umieszczają więcej przetwarzania w gęstszych obudowach serwerów, a coraz więcej aplikacji wymaga energochłonnych procesorów graficznych (GPU) i innych specjalistycznych procesorów.
Szybki rozwój sztucznej inteligencji stwarza kolejny zestaw presji. Obliczyli to w 2023 roku naukowcy z Uniwersytetu Kalifornijskiego w Riverside CzatGPTModel dużego języka (LLM) wykorzystuje 500 ml wody, aby odpowiedzieć na pięć do 50 podpowiedzi. Prawie cała ta woda ulega ochłodzeniu. Według Alvina Nguyena, starszego analityka w firmie Forrester, kiedy: LLM tworzy obraz, zużywa mniej więcej tyle energii, ile potrzebuje samochód z silnikiem spalinowym do przejechania jednej mili.
Zmiany te wywierają presję na często konserwatywną branżę centrów danych, a także skłaniają dyrektorów ds. IT do poszukiwania alternatywnych technologii.
Operator przedsiębiorstwa lub centrum danych może kilka zrobić wzmocnić sieci energetyczne. I chociaż firmy mogą przejść na mniej energochłonne chipy, przez cały czas panuje tendencja do wzrostu zużycia energii w centrach danych.
Według Tony Lock, wybitny analityk w Freeform Dynamicsjest to nieuniknione, ponieważ przedsiębiorstwa digitalizują swoje procesy. Praca wykonywana manualnie jest przenoszona do komputerów, a komputery przenoszą się z biura lub pokoju danych do centrum danych lub chmury.
„Centrum danych jest odpowiedzialne za świadczenie coraz większej liczby usług biznesowych, ale za wzrost zużycia energii elektrycznej obwinia się starego, biednego menedżera centrum danych” – mówi.
Aktualizacja chłodzenia może jednak zapewnić szybkie korzyści zarówno pod względem finansowym, jak i wydajnościowym.
Jeśli operatorom uda się poprawić wydajność chłodzenia, będą mogli umieścić więcej sprzętu w centrum danych. Lepsze chłodzenie jest niezbędne do obsługi procesorów graficznych dla sztucznej inteligencji. Platforma Blackwell firmy Nvidia wymaga chłodzenia cieczą, mimo iż ma działać przy kosztach i zużyciu energii choćby o 25% niższych niż jej poprzedniczki.
Aktualizując technologię chłodzenia, firmy mają również szansę obniżyć swoje rachunki za energię. Konsensus branżowy jest taki, iż około 40% mocy centrum danych jest wykorzystywane na chłodzenie.
Konwencje chłodnicze
Konwencjonalnym sposobem chłodzenia systemów w centrach danych jest cyrkulacja powietrza. Szafy i serwery są wyposażane w wentylatory i instalowane są centra danych klimatyzacja sali komputerowej (CRAC) jednostki lub centrala wentylacyjna w pomieszczeniu komputerowym (CRAH) jednostki utrzymujące odpowiednią temperaturę powietrza. Chłodnice te zwykle odprowadzają ciepło odpadowe do powietrza zewnętrznego. jeżeli korzystają z chłodzenia wyparnego, potrzeba do tego zarówno prądu, jak i wody.
Rozmiar i pojemność jednostek CRAC i CRAH będą również determinować fizyczny projekt centrum danych, a choćby jego całkowity rozmiar. Jako David Watkins, dyrektor ds. rozwiązań w firmie operator centrum danych Centra danych Virtuswskazuje, iż każde urządzenie jest zaprojektowane do chłodzenia określonej liczby kilowatów (kW) mocy i będzie miało maksymalny „wyrzut”, czyli odległość, jaką dotrze chłodne powietrze. Biorąc to wszystko pod uwagę, projektanci mogą decydować o wymiarach budynku i miejscu umieszczenia regałów.
Inżynierowie zajmujący się centrami danych mogą również zwiększyć efektywność chłodzenia powietrzem, instalując gorące i zimne przejścia. Poprawia to cyrkulację powietrza poprzez oddzielenie napływającego chłodnego powietrza od ciepłego powietrza wywiewanego. Pomaga także kontrolować temperaturę otoczenia w pozostałej części centrum danych, dzięki czemu jest wygodniejsza dla operatorów.
Chłodzenie powietrzem pozostaje jednak hałaśliwym i kosztownym procesem, który ma swoje ograniczenia – powyżej pewnego poziomu mocy obliczeniowej powietrze nie jest już w stanie zapewnić wystarczającego chłodzenia. „Około 40 kW to górna granica zasięgu powietrza” – mówi Watkins.
Oznacza to, iż operatorzy centrów danych muszą rozważyć alternatywy.
Po dotknięciu: chłodzenie cieczą
Chłodzenie powietrzem było stopniowo udoskonalane w ciągu ostatnich kilku dekad i z pewnością jest bardziej wydajne niż wcześniej. „Chłodzenie powietrzem jest dobrze ugruntowane i sprawdzone, a jego wydajność stale się poprawia” – mówi Steve Wallage, dyrektor zarządzający firmy Danseb Consulting, specjalizującej się w centrach danych.
Wallage wskazuje, iż istnieją innowacje w chłodzeniu powietrzem. Na przykład rozwiązanie KyotoCooling, które wykorzystuje „koło termiczne” do kontrolowania przepływów gorącego i zimnego powietrza przez centrum danych, pozwala zaoszczędzić od 75% do 80% w porównaniu z konwencjonalnym chłodzeniem. „Głównym powodem pozostania rozwiązaniami niszowymi jest brak zainstalowanej bazy” – mówi Wallage.
Zamiast tego, główną alternatywą dla chłodzenia powietrzem stało się chłodzenie cieczą, zwłaszcza w przypadku instalacji obliczeń o wysokiej wydajności (HPC) i sztucznej inteligencji.
Częściowo dzieje się tak dlatego, iż systemy o wysokiej wydajności są dostarczane z wbudowanym chłodzeniem cieczą. Jednak jego wady, w tym złożoność i obciążenie logistyczne, są równoważone przez nieodłączną wydajność. Chłodzenie cieczą jest bardziej wydajne niż chłodzenie powietrzem i może choćby zużywać mniej wody niż systemy CRAH chłodzone powietrzem.
Chłodzenie cieczą występuje w kilku formach, w tym bezpośrednio na chipie, chłodzeniu zanurzeniowym, w którym całe urządzenie jest utrzymywane w nieprzewodzącej cieczy, oraz szereg systemów chłodzących stojaki. Często płynem nie jest woda, a specjalistyczny olej.
Systemy immersyjne muszą być budowane w ścisłej współpracy z producentem serwera lub procesora graficznego, aby działały bez uszkodzenia komponentów. Są popularne wydobywanie kryptowalut i inne systemy specjalistyczne.
Chłodzenie bezpośrednio na chipie ponownie wymaga integracji ze strony producenta serwera. W rezultacie systemy chłodzone cieczą są często dostarczane z już skonfigurowanym chłodzeniem. Operator centrum danych musi jedynie podłączyć to wszystko do głównych systemów, w tym do wymienników ciepła lub jednostek dystrybucji chłodzenia.
„Istnieją technologie, w których można wykorzystać bezpośrednie chłodzenie cieczą” – mówi Nguyen z firmy Forrester. „Ale wymaga to dodatkowej przestrzeni i nie można zastosować zbyt gęstej zabudowy, ponieważ potrzebne są rury prowadzące do wszystkiego [heat]-produkowanie chipów lub aktywów wewnątrz serwera.
„Wiele osób nie lubi alternatyw, takich jak zanurzenie w cieczy, ponieważ pracuje się z czymś, co może skrócić żywotność sprzętu, a pod względem operacyjnym wszystko staje się znacznie bardziej skomplikowane”. Powody obejmują konieczność wyłączenia systemów, pozostawienia cieczy do ostygnięcia i spuszczenia jej przed wykonaniem konserwacji lub modernizacji.
Zespoły IT mogą również zdecydować się na prostsze urządzenia z tylnymi drzwiami, wózkiem bocznym lub jednostki rzędowe do chłodzenia cieczą.
Chłodzenie cieczą to innowacyjne rozwiązanie, jednak technologia ta nie pozostało w stanie całkowicie zastąpić chłodzenia powietrzem w centrach danych
Popularne są systemy chłodzenia tylnych drzwi lub wymienniki ciepła powietrze-ciecz, ponieważ można je zamontować w istniejących szafach. Nie ma bezpośredniego kontaktu z chipem, więc inżynieria jest mniej skomplikowana, a ryzyko mniejsze. Odbywa się to jednak kosztem zmniejszonej wydajności chłodzenia. Układy chłodzenia tylnych drzwi są całkowicie pasywne i zwykle chłodzą systemy w zakresie od 20 kW do 120 kW, przy czym niektórzy producenci twierdzą, iż parametry są wyższe.
Kolejną zaletą chłodzenia tylnych drzwi lub bocznych drzwi samochodu jest to, iż można je łatwiej zintegrować z konwencjonalnym chłodzeniem powietrzem. W dającej się przewidzieć przyszłości większość centrów danych będzie wyposażona w systemy chłodzone powietrzem, takie jak pamięć masowa i sieci, wraz z wysokowydajnym sprzętem chłodzonym cieczą.
„Chłodzenie cieczą to innowacyjne rozwiązanie, ale technologia ta nie pozostało w stanie całkowicie zastąpić chłodzenia powietrzem w centrach danych” – ostrzega Alistair Barnes, szef inżynierii mechanicznej w Colt Data Center Services.
„Nawet jeżeli sprzęt jest chłodzony cieczą, ciepło zostanie do niego przeniesione, a część zostanie rozproszona do pomieszczenia lub otaczającej przestrzeni, gdzie do jego usunięcia potrzebne będzie powietrze. Zalecamy hybrydę, w której stosuje się jednocześnie techniki cieczowe i powietrzne.”
Umożliwia to operatorom centrów danych maksymalizację wydajności operacyjnej i energetycznej efektywność wykorzystania energii (PUE).
Błękitne niebo i błękitny basen, myślę
Istnieją dalsze ograniczenia dotyczące chłodzenia cieczą, które wraz z rosnącym zapotrzebowaniem na obliczenia oparte na sztucznej inteligencji skłaniają operatorów centrów danych do poszukiwania jeszcze bardziej innowacyjnych rozwiązań.
W przypadku chłodzenia cieczą problemem jest waga, ponieważ szafy są cięższe i mogą przekraczać konstrukcję centrum danych. „Będą miejsca, które można do pewnego stopnia zmodernizować, ale te czynniki mogą utrudnić, jeżeli masz płytę [concrete base] o pewnej sile” – mówi Watkins z Virtus Data Centers.
Niektóre centra danych korzystają darmowe chłodzenie powietrzemktóry sprawdza się dobrze w chłodniejszych klimatach, takich jak Europa Północna, Skandynawia czy północno-zachodni Pacyfik w USA. „Swobodne chłodzenie powietrzem jest przez cały czas opłacalne, chociaż na początku nie wzięto pod uwagę niektórych kwestii” – mówi Lock z firmy Freeform. „Myślę, iż wzięto pod uwagę wilgotność, a kurz nie.”
Niektóre centra danych przenoszą się w tej chwili do kopalni soli ze względu na niską wilgotność. Pozostałe przyłączają się do miejskich sieci ciepłowniczych tzw Ciepło odpadowe można wykorzystać do ogrzewania pobliskich budynków. Nie jest to nowość – wiele skandynawskich centrów danych działa w ten sposób od lat 70. XX wieku. Jednak przepisy europejskie w coraz większym stopniu kontrolują sposób, w jaki centra danych odprowadzają nadmiar ciepła, stanowiąc, iż nie można go po prostu wpompować do atmosfery.
Bardziej radykalne projekty obejmują budowę dużych zbiorników na wodę pod centrami danych w celu przechowywania ciepła odpadowego do przyszłego wykorzystania. Centrum danych AM3 firmy Equinix w Amsterdamie wykorzystuje chłodną wodę z podziemnych warstw wodonośnych, a także bezpłatne chłodzenie powietrzem. Inne centra danych wykorzystywać ciepło odpadowe do ogrzewania basenów.
Nie każdy może przenieść się do kopalni soli lub zainstalować baseny, ale CIO mogą już teraz zaplanować inwestycje w ulepszone chłodzenie centrów danych. Mogą też zapytać, czy ich dostawcy usług w chmurze i kolokacji korzystają z tańszej i czystszej technologii chłodzenia.
