Chciałbyś korzystać z popularnych ostatnio narzędzi jak ChatGPT lub Gemini, ale martwisz się o swoją prywatność? W takim razie ta nowa aplikacja może być dla Ciebie idealna.
Google wypuściło nową aplikację na platformie GitHub o nazwie AI Edge Gallery. Jest to eksperymentalne oprogramowanie na urządzenia wyposażone w system operacyjny Android, które umożliwia uruchamianie dużych modeli językowych generatywnej sztucznej inteligencji w trybie offline. niedługo dostęp do niej mają także uzyskać użytkownicy telefonów od Apple.
Cztery modele z możliwością instalacji własnych
W przeciwieństwie do Gemini, nowe rozwiązanie koncentruje się na uruchamianiu modeli AI, które użytkownik pobiera na swoje urządzenie. Całe przetwarzanie odbywa się lokalnie, co oznacza większą prywatność oraz możliwość działania bez dostępu do internetu. W przypadku Gemini i ChatGPT połączenie z internetem jest wymagane – wszystkie zapytania trafiają na serwery Google lub OpenAI, co nie sprzyja ochronie prywatności.
Po zainstalowaniu aplikacji użytkownik trafia na ekran główny z opcjami: „Ask Image”, „Prompt Lab” oraz „AI Chat”. Każda z nich prowadzi do kolejnego ekranu, gdzie można wybrać konkretny model, który ma obsłużyć zapytanie. Tryb Ask Image pozwala dodać obraz i wpisać polecenie tekstowe w celu zadania pytania o zdjęcie. Prompt Lab zawiera zakładki: Free form, Rewrite tone, Summarize text i Code snippet – umożliwiające odpowiednie przekształcanie tekstu. Natomiast AI Chat pozwala prowadzić bardziej standardową rozmowę.
Obecnie dostępne są cztery modele (każdy wymaga oddzielnego pobrania):
- Gemma-3n-E2B-it-int4
- Gemma-3n-E4B-it-int4
- Gemma3-1B-IT q4
- QWEN2.5-1.5B-Instruct q8
Istnieje także możliwość dodania własnych modeli lokalnych. W zależności od wybranego rozwiązania i parametrów sprzętu, aplikacja może wykorzystywać zarówno GPU, jak i CPU systemu w celu przetwarzania zapytań. Warto jednak zaznaczyć, iż w prawie każdym przypadku korzystanie z układu graficznego będzie znacząco szybsze.
Choć możliwość korzystania z modeli AI offline jest atrakcyjna, to należy pamiętać, iż urządzenia mobilne mają ograniczoną moc obliczeniową. Oznacza to wolniejsze działanie w stosunku do odpowiedników online na potężnych serwerach Google czy OpenAI. Dodatkowo, modele językowe zajmują często stosunkowo sporo przestrzeni dyskowej.
