Już niemal pół roku temu przeglądarka internetowa Opera dostała aktualizację, wprowadzającą obsługę 150 dużych modeli językowych (ang. LLM) dla chatbota Aria AI. Teraz implementacją LLM wspieranego przez platformę RTX w przeglądarce Brave pochwaliła się firma NVIDIA. Technologię można wykorzystać dzięki asystentowi Leo AI.
Leo AI debiutuje w Brave, wspierany przez NVIDIA RTX
Leo AI to kolejny z asystentów wspieranych przez sztuczną inteligencję, z jakich skorzystają użytkownicy przeglądarek internetowych. Ten działa w przeglądarce Brave, cenionej przez osoby mające na sercu bezpieczne i prywatne przeglądanie Internetu. Model językowy zintegrowany z przeglądarką Brave może działać w chmurze lub lokalnie na komputerze przy wykorzystaniu interfejsu Ollama.
Brave i Leo AI zrobią użytek z między innymi rdzeni Tensor obecnych w kartach graficznych NVIDIA GeForce RTX. Producent podaje, iż przepustowość modelu LLM Ollama to 149 tokenów na sekundę, czyli ok. 110 słów w tym samym czasie.
Llama.cpp to biblioteka i środowisko pracy z otwartym kodem źródłowym. CUDA to interfejs programowania aplikacji NVIDIA, który umożliwia programistom optymalizację pod kątem kart graficznych GeForce RTX i NVIDIA RTX. Zapewnia on akcelerację rdzeni Tensor dla setek modeli, w tym popularnych wielkich modeli językowych (LLM) takich jak Gemma, Llama 3, Mistral czy Phi
– przypomina NVIDIA.
Lokalną sztuczną inteligencję w Brave można wykorzystać na przykład do streszczania treści na stronach internetowych. Zachęcamy do przetestowania rozwiązania we własnym zakresie.
Źródło: NVIDIA
