Standardowo modele ML wdrażamy włączając je na klastrze stale działających maszyn wystawionych na świat dzięki load balancera. Nie jest to jednak jedyny sposób - w wielu przypadkach o wiele efektywniejszym, tańszym czy stabilniejszym rozwiązaniem będzie robienie tego batchowo, asynchronicznie albo w podejściu serverless. Na czym polegają te metody i kiedy warto je zastosować? Równie istotną kwestią jest bezpieczny redeployment naszych modeli. Jak zrobić to transparentnie i bez downtime? Jak wykonać test A/B? Ponadto, zdarza się, iż nasz system korzysta z setek albo i tysięcy modeli, a wdrożenie osobnej maszyny dla wszystkich z nich bez wątpienia doprowadziłoby do bankructwa. Czy możemy coś na to poradzić? Podczas prelekcji pokażemy, jak korzystając z AWS i usługi Amazon SageMaker możemy zrealizować różne scenariusze wdrożeń. Przejdziemy przez Batch Transform, Asynchronous Inference, Serverless Inference i Real-time Inference, a potem pomyślimy jak bezpiecznie (re)deployować modele z użyciem Variants i Deployment Guardrails. Na końcu wspomnimy co nieco o Multi-model i Multi-container endpointach.
🔥 [4Developers 2023] https://4developers.org.pl/4developers-2023/
👉 [FB] https://www.facebook.com/4Developers
👉 [LI] https://www.linkedin.com/showcase/4developers
👉 [TT] https://twitter.com/4Developers
