Pojawienie się takich modeli językowych jak Llama, DeepSeek oraz Bielik spowodowało, iż możemy używać LLMów tak jak innego systemu Open Source. Jak w takim razie skonfigurować swój własny model GenAI na serwerze? W tym artykule przejdziemy przez wszystkie niezbędne kroki, używając do tego przede wszystkim Pythona. Napiszemy prostą aplikację webową serwującą odpowiedzi z modelu w fastapi. Prawie identyczne kroki są aplikowalne do klasycznych modeli uczenia maszynowego, z tą różnicą, iż musimy je wcześniej wytrenować sami...
Zagadnienia poruszane w tym artykule:
- Co jest wymagane do pracy?
- Wstępna konfiguracja (VPS);
- Wybór serwera (VPS);
- Pierwsze połączenie z serwerem (VPS);
- Konfiguracja kluczy SSH (VPS);
- Utworzenie dedykowanego użytkownika (VPS);
- Instalacja bazowego systemu (VPS);
- Instalacja pip (VPS);
- Instalacja venv (VPS);
- Instalacja git (VPS);
- Ustawienie katalogów (VPS);
- Aplikacja serwująca predykcje (lokalnie i VPS);
- Fork repozytorium (VPS);
- Ustawienie zmiennych środowiskowych (VPS);
- Budowa aplikacji (lokalnie);
- Struktura wejścia i wyjścia endpointa (lokalnie);
- Struktura wejścia – request;
- Podłączenie modelu (lokalnie);
- Pierwsze uruchomienie na serwerze (VPS);
- Ollama na serwerze (VPS);
- Aktualizacja środowiska wirtualnego na serwerze (VPS);
- Finalny kod (lokalnie);
- Konfiguracja NGINX i Gunicorn (VPS);
- Pierwsze odpytanie serwera (lokalnie);
- Otworzenie API do pracy ciągłej (VPS).
Artykuł pochodzi z magazynu Programista nr 117 (2/2025). Szczegółowy spis treści wydania nr 117: https://programistamag.pl/programista-2-2025-117/
Autorem artykułu jest Szymon Moliński. Data Scientist, Data Engineer i architekt rozwiązań opartych na AI, mający w swoim portfolio wiele udanych wdrożeń jak i cennych lekcji. Entuzjasta Open Source i Open Science. Freelancer współpracujący z firmami z rynku kosmicznego, rolnictwa, e-commerce, marketingu, wdrażając pipeline’y ETL/ELT, rozwijając algorytmy AI albo wdrażając systemy AI. Aktualnie rozwija własny start-up budując produkt oparty na GeoAI foundation model.
