Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy
W tym tygodniu stawiam na potoki przetwarzające dane i pokazujące je finalnie w jakimś dashboardzie. To najczęstsza robota w korporacjach, szczególnie w zespołach "raportowych". Dlatego gorąco polecam dzisiejszy dział "Analiza danych - projekty".
Przy przetwarzaniu danych częstym krokiem jest analiza tego co przychodzi. Można użyć narzędzi BI, można manualnie rzeźbić kod, a można skorzystać z Data Wranglera - dodatku do VSCode, w którym poszczególne kroki pochodzą z takiego niby wizarda, a w efekcie dostajemy gotowy kod. No trzeba to zobaczyć (10 minut filmu z dość specyficznym akcentem, ale nie takim jak myślicie), a potem można zainstalować.
#ai_ml
Hello Midjourney!
Największy w Polsce, darmowy kurs MidJourney
#analiza_danych_projekty
Data pipelines with Python and SQL
Python w połączeniu z SQL wykorzystany do zbudowania pełnego potoku danych razem z finalnym dashboardem.
Building a Cost-Effective Data Pipeline with Airflow, Power BI, and DuckDB
Jeszcze jeden przykład potoku przetwarzającego dane - tym razem opakowanego Airflow i z PowerBI jako końcówką prezentującą dane.
#bazy_danych
Deploying MongoDB using Docker with authentication enabled
Zbuduj sobie lokalnie instancję bazy MongoDB. Od razu z użytkownikami tej bazy.
All You Need to Know about Vector Databases and How to Use Them to Augment Your LLM Apps
Przewodnik krok po kroku, jak wykorzystać moc wektorowych baz danych
#ciekawostki
ipapi.is - Geolocation
Namierzanie użytkownika na podstawie jego adresu IP może być pomocne w wielu aspektach biznesowych - od automatycznego dostosowywania języka aplikacji, przez wyświetlanie lokalnego cennika, po blokadę regionalną. Jak się za coś takiego zabrać? Podejście "zrób to sam"
#devops
Control and monitor your Docker containers with Python
Użyj Pythona do kontrolowania kontenerów dokowanych! Oto instrukcja jak zacząć.
#powerbi
Creating a Live Dashboard in Power BI Using Python
Czy Power BI potrafi wyświetlić dane płynące strumieniem na dashboardzie?
#programowanie_ogólnie
Siedem grzechów głównych testowania jednostkowego
Poniżej znajdziesz listę naszych subiektywnych 7 największych błędów, które programiści popełniają w temacie testów jednostkowych.
Do you know how to validate your data properly?
Kompletny i praktyczny przewodnik z pełnym kodem (tutaj w Pythonie, ale chodzi o pokazanie algorytmu) projektu dotyczącym wzorca walidatora.
#python
F-Strings Have A Lot of Format Modifiers You Don’t Know
Jak używać formatowania ciągów znaków w Pythonie dzięki f-strings? 17 minutowy film pokazuje gruntowne wprowadzenie. Zaś kanał NeuralNine polecam szczególnej uwadze
Extracting text from PDF files with Python: A comprehensive guide
Kompletny proces wyodrębniania informacji tekstowych z tabel, obrazów i zwykłego tekstu z pliku PDF
Integration Testing For Flask Applications - Python API Testing
Testy integracyjne aplikacji napisanych we Flasku... są w drugiej części tego 20-minutowego filmu. Połowę zajmuje napisanie aplikacji we Flask (warto to zobaczyć, pokazuje jak się to gwałtownie robi)
Deploying a FastAPI App with Nginx, Supervisor, and Gunicorn
Nasz gotowe swoje API ale nie wiesz jak to wdrożyć?
4 Essential Steps for Successful Web Scraping in Python
Wprowadzenie do scrapingu danych z internetu z użyciem Selenium. adekwatnie każdy projekt pobierania danych ze stron można sprowadzić do takiego schematu jak zaprezentowany w poradniku. Z powodzeniem tego typu rozwiązanie może zastąpić roboty RPA - nie jest może tak wygorne jak UiPath czy podobne rozwiązania, ale nie kosztuje nic (poza czasem na przygotowanie kodu)
#wizualizacja_danych
7 Visualizations with Python to Handle Multivariate Categorical Data
Wielowymiarowe dane kategoryczne to typ danych, który ma wiele kategorii. Pomyślmy na przykład o grupowaniu ludzi. Może się okazać, iż będziemy mieć wiele możliwości, ponieważ dana osoba może mieć różne cechy w zależności od kategorii, takich jak płeć, narodowość, zakres wynagrodzeń lub poziom wykształcenia. Jak takie dane pokazać?
Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)
