Robert Triggs / Android Authority jeżeli zastanawiasz się nad zakupem nowego laptopa, bez wątpienia zauważyłeś, iż coraz częściej oferują one możliwości NPU, które brzmią bardzo podobnie do sprzętu, który widzieliśmy w najlepszych telefonach od dłuższego czasu już kilka lat. Czynnikiem napędzającym jest dążenie laptopów do nadążania za możliwościami mobilnej sztucznej inteligencji poprzez wyposażenie ich w zaawansowane funkcje sztucznej inteligencji, takie jak Copilot firmy Microsoft, które mogą bezpiecznie działać na urządzeniu bez konieczności połączenia z Internetem. Oto wszystko, co musisz wiedzieć o jednostkach NPU, dlaczego Twój następny laptop może je mieć i czy warto je kupić.
Czy interesują Cię możliwości AI laptopów?
741 głosówTak, jestem zainteresowany.32%Zależy od innych specyfikacji24%Nie, wcale nie.44%
Co to jest NPU?
NPU to skrót od jednostki przetwarzania neuronowego. Jednostki NPU są przeznaczone do uruchamiania funkcji matematycznych związanych z zadaniami sieci neuronowych/uczenia maszynowego/AI. Chociaż mogą to być samodzielne układy, coraz częściej integruje się je bezpośrednio z układami typu system-on-chip (SoC) wraz z bardziej znanymi komponentami procesora i karty graficznej. Jednostki NPU służą przyspieszaniu uczenia maszynowego, czyli zadań AI. Jednostki NPU są dostępne w różnych kształtach i rozmiarach i często są nazywane nieco inaczej w zależności od projektanta chipa. Znajdziesz już różne modele rozproszone po krajobrazie telefonów. Qualcomm ma Hexagon w swoich procesorach Snapdragon, Google ma swoje TPU zarówno dla chmury, jak i mobilnych układów Tensor, a Samsung ma własną implementację dla Exynos. Pomysł nabiera teraz tempa w laptopach i komputerach stacjonarnych. Na przykład w najnowszym Apple M4 znajduje się silnik neuronowy, funkcje Qualcomm Hexagon w platformie Snapdragon X Elite, a AMD i Intel rozpoczęły integrowanie jednostek NPU w swoich najnowszych chipsetach. Chociaż nie są to dokładnie te same, procesory graficzne NVIDIA zacierają granice, biorąc pod uwagę ich imponujące możliwości przetwarzania liczb. NPU są coraz częściej wszędzie.
Dlaczego gadżety potrzebują NPU?
Robert Triggs / Android AuthorityJak wspomnieliśmy, jednostki NPU są zaprojektowane specjalnie do obsługi obciążeń związanych z uczeniem maszynowym (wraz z innymi zadaniami wymagającymi dużej liczby obliczeń matematycznych). Mówiąc laikiem, jednostka NPU jest bardzo przydatnym, a może choćby niezbędnym komponentem do uruchamiania sztucznej inteligencji na urządzeniu, a nie w chmurze. Jak bez wątpienia zauważyłeś, sztuczna inteligencja wydaje się w tej chwili być wszędzie, a włączenie wsparcia bezpośrednio do produktów jest kluczowym krokiem na tej drodze. Duża część dzisiejszego przetwarzania sztucznej inteligencji odbywa się w chmurze, ale nie jest to idealne rozwiązanie w przypadku kilku powodów. Po pierwsze, są to opóźnienia i wymagania sieciowe; nie masz dostępu do narzędzi w trybie offline lub może być konieczne długie oczekiwanie na przetwarzanie w godzinach szczytu. Przesyłanie danych przez Internet jest również mniej bezpieczne, co jest bardzo ważnym czynnikiem w przypadku korzystania ze sztucznej inteligencji mającej dostęp do Twoich danych osobowych, takiej jak Recall firmy Microsoft. Mówiąc prościej, preferowane jest uruchamianie na urządzeniu. Zadania AI wymagają jednak bardzo dużej mocy obliczeniowej i nie działają dobrze na tradycyjnym sprzęcie. Być może zauważyłeś to, jeżeli próbowałeś generować obrazy dzięki Stable Diffusion na swoim laptopie. W przypadku bardziej zaawansowanych zadań może być boleśnie powolny, chociaż procesory mogą bez problemu wykonywać wiele „prostszych” zadań AI. Jednostki NPU umożliwiają uruchamianie zadań AI na urządzeniu, bez konieczności połączenia z Internetem. Rozwiązaniem jest zastosowanie dedykowanego sprzętu, który przyspieszy te zaawansowane zadania. Więcej o tym, co robią jednostki NPU, możesz przeczytać w dalszej części tego artykułu, ale TLDR polega na tym, iż wykonują zadania AI szybciej i wydajniej, niż sam procesor jest w stanie to zrobić. Ich wydajność często podaje się w bilionach operacji na sekundę (TOPS), ale nie jest to zbyt przydatna metryka, ponieważ nie mówi dokładnie, co robi każda operacja. Zamiast tego często lepiej jest szukać liczb, które informują, jak gwałtownie zajmuje przetwarzanie tokenów w przypadku dużych modeli. Mówiąc o TOPS, jednostki NPU telefonów i wczesnych laptopów są oceniane w dziesiątkach TOPS. Ogólnie rzecz biorąc, oznacza to, iż mogą przyspieszyć podstawowe zadania sztucznej inteligencji, takie jak wykrywanie obiektów kamery w celu zastosowania rozmycia bokeh lub podsumowania tekstu. jeżeli chcesz uruchomić duży model językowy lub użyć generatywnej sztucznej inteligencji do szybkiego tworzenia multimediów, będziesz potrzebować mocniejszego akceleratora/GPU w zakresie setek lub tysięcy TOPS.
Czy NPU różni się od procesora?
Jednostka przetwarzania neuronowego różni się znacznie od jednostki centralnej ze względu na rodzaj obciążenia, do obsługi którego jest przeznaczona. Typowy procesor w laptopie lub telefonie jest dość ogólnego przeznaczenia, aby obsłużyć szeroką gamę aplikacji, obsługując szerokie zestawy instrukcji (funkcje, które może wykonywać), różne sposoby buforowania i przywracania funkcji (w celu przyspieszenia powtarzających się pętli) oraz duże okna wykonywania poza kolejnością (dzięki czemu mogą kontynuować działanie zamiast czekać). Jednak obciążenia uczenia maszynowego są inne i nie wymagają aż tak dużej elastyczności. Na początku wymagają znacznie więcej matematyki, często wymagają powtarzalnych, kosztownych obliczeniowo instrukcji, takich jak mnożenie macierzy, i bardzo szybkiego dostępu do dużych pul pamięci. Często operują także na nietypowych formatach danych, takich jak szesnasto-, ośmio-, a choćby czterobitowe liczby całkowite. Dla porównania, typowy procesor jest zbudowany wokół 64-bitowej matematyki całkowitej i zmiennoprzecinkowej (często z dodanymi dodatkowymi instrukcjami). Jednostka NPU jest szybsza i bardziej energooszczędna w wykonywaniu zadań AI w porównaniu do procesora. Zbudowanie jednostki NPU przeznaczonej do masowego przetwarzania równoległego tych konkretnych funkcji skutkuje większą wydajnością i mniejszymi stratami energii na funkcje bezczynności, które nie są pomocne w danym zadaniu. Jednak nie wszystkie NPU są sobie równe. choćby poza samymi możliwościami przetwarzania liczb, można je zbudować tak, aby obsługiwały różne typy i operacje na liczbach całkowitych, co oznacza, iż niektóre jednostki NPU lepiej radzą sobie z określonymi modelami. Na przykład niektóre układy NPU telefonów działają w formatach INT8 lub choćby INT4, aby zaoszczędzić na zużyciu energii, ale lepszą dokładność uzyskasz w przypadku bardziej zaawansowanego, ale energochłonnego modelu FP16. jeżeli potrzebujesz naprawdę zaawansowanych obliczeń, dedykowane procesory graficzne i zewnętrzne akceleratory są przez cały czas mocniejsze i zróżnicowane pod względem formatu niż zintegrowane jednostki NPU. Jako kopie zapasowe procesory mogą wykonywać zadania uczenia maszynowego, ale często są znacznie wolniejsze. Nowoczesne procesory firm Arm, Apple, Intel i AMD obsługują niezbędne instrukcje matematyczne i niektóre mniejsze poziomy kwantyzacji. Ich wąskim gardłem jest często to, ile z tych funkcji mogą działać równolegle i jak gwałtownie mogą przenosić dane do i z pamięci, do czego specjalnie zaprojektowano jednostki NPU.
Czy powinienem kupić laptopa z NPU?
Robert Triggs / Android Authority Chociaż nie jest to konieczne, szczególnie jeżeli nie interesuje Cię trend AI, jednostki NPU są wymagane do korzystania z niektórych najnowszych funkcji, które znajdziesz w przestrzeni mobilnej i PC. Na przykład Copilot Plus firmy Microsoft określa NPU z wydajnością 40TOPS jako minimalne wymaganie, które będzie potrzebne do korzystania z funkcji przywracania systemu Windows. Niestety, chipy Intel Meteor Lake i AMD Ryzen 8000, które można znaleźć w obecnych laptopach (w momencie pisania tego tekstu), nie spełniają tego wymagania. Jednak nowo ogłoszone chipy AMD Stix Point Ryzen są kompatybilne. Nie będziesz musiał długo czekać na alternatywę x64 dla laptopów Snapdragon X Elite opartych na procesorach ARM, ponieważ laptopy z zasilaniem Stix Point mają pojawić się w pierwszej połowie 2024 r. Popularne narzędzia klasy PC, takie jak Audacity, DaVinci Resolve, Zoom i wiele innych są dostępne coraz częściej eksperymentują z bardziej wymagającymi możliwościami sztucznej inteligencji na urządzeniach. Chociaż nie są one niezbędne w przypadku podstawowych obciążeń, funkcje te stają się coraz bardziej popularne, a możliwości sztucznej inteligencji powinny zostać uwzględnione przy następnym zakupie, jeżeli regularnie korzystasz z tych narzędzi. CoPilot Plus będzie obsługiwany wyłącznie na laptopach z odpowiednio wydajnym NPU. jeżeli chodzi o telefony, funkcje i możliwości różnią się nieco bardziej w zależności od marki. Na przykład Galaxy AI firmy Samsung działa tylko na potężnych flagowych telefonach Galaxy S. W niedrogim Galaxy A55 nie wprowadzono takich funkcji, jak asystent czatu czy tłumacz, prawdopodobnie z powodu braku niezbędnej mocy obliczeniowej. To powiedziawszy, niektóre funkcje Samsunga działają również w chmurze, ale prawdopodobnie nie można ich finansować tańszymi zakupami. A skoro już o tym mowa, Google jest równie dobry pod względem spójności funkcji. Na Pixelu 8 Pro znajdziesz najlepsze dodatki AI firmy Google, takie jak Video Boost – mimo to Pixel 8, a choćby niedrogi 8a obsługują wiele tych samych narzędzi AI. Ostatecznie AI jest tutaj, a NPU są kluczem do korzystania z funkcji na urządzeniu, które nie działają na starszym sprzęcie. To powiedziawszy, wciąż jesteśmy na wczesnym etapie zastosowań związanych ze sztuczną inteligencją, zwłaszcza w przypadku laptopów. Wymagania programowe i możliwości sprzętowe będą w nadchodzących latach tylko rosły. W tym sensie zaczekanie, aż opadnie kurz, zanim wskoczysz, nie zaszkodzi. Uwagi
