HAL9000 @ localhost, czyli programujemy lokalne LLMy

programistamag.pl 9 miesięcy temu

Wzrost roli sztucznej inteligencji we współczesnym świecie jest oczywisty. Zasługę takiego stanu rzeczy należy przypisać w szczególności modelom należącym do grupy LLMów (Large Language Model). To za ich sprawą w branży IT, ale nie tylko, dzieje się coś, co można już nazwać rewolucją...

Zagadnienia poruszane w tym artykule:

  • Lokalne vs chmurowe LLMy;
  • Dostępność narzędzi i bibliotek dla modeli językowych;
  • OpenAI API (rozwiązanie chmurowe);
  • LangChain (rozwiązanie hybrydowe);
  • Obsługa modeli LLM;
  • Zrozumienie transformerów w LLM;
  • Wykorzystanie RAG (Retrieval-Augmented Generation) w kontekście lokalnym;
  • Embeddings;
  • Przykładowa aplikacja;
  • Wyzwania i Przyszłość Lokalnych LLM;

Artykuł pochodzi z magazynu Programista nr 111 (1/2024). Szczegółowy spis treści wydania nr 111: https://programistamag.pl/programista-1-2024-111/

Autorami artykułu są:

  • Marek Zmysłowski. Doświadczenie zdobywał zarówno w małych firmach, jak i dużych korporacjach, takich jak Samsung, Trustwave czy Microsoft, pracując jako inżynier, pentester security manager. Pasjonat bezpieczeństwa IT, a w szczególności fan wszystkiego, co jest związane z fuzzingiem. Wielokrotny prezenter na konferencjach poświęconych bezpieczeństwu, zarówno w kraju, jak i za granicą, a także autor publikacji i projektów związanych z bezpieczeństwem.
    Wraz z Konradem Jędrzejczykiem autor projektu dotyczącego sztucznej inteligencji: ChatNMI.
  • Konrad Jędrzejczyk. W cyberbezpieczeństwie w środowisku korporacyjnym od 2011 roku. Oddany użytkownik PET 4032. Pierwszy publicznie zaprezentował test penetracyjny współczesnych systemów z użyciem nie rozszerzonego Commodore 64 jako maszyny atakującego na konferencji DefCamp w Bukareszcie w 2017 roku.
    Wspólnie z Markiem Zmysłowskim jest twórcą projektu skupionego na sztucznej inteligencji – ChatNMI.
Idź do oryginalnego materiału