Newsletter Dane i Analizy, 2024-02-26

blog.prokulski.science 8 miesięcy temu

Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy

Skupiamy się w tym tygodniu na zagadnieniach związanych z budowaniem rozwiązań skonteneryzowanych. Mamy więc coś o Dockerze i pakowaniu do niego naszych aplikacji (napisanych w różnych językach, żeby było "dla każdego coś miłego"), coś (może nieco więcej niż "coś") o Kubernetesie - bo to kolejny krok, a wydaje się to być nieco zakręcone. Do tego garść tricków i porad związanych z tymi zagadnieniami, chociażby o nieznanych (albo raczej: nie używanych) opcjach Gita. Ale to dla prawdziwych wyjadaczy.

Dla tych mniej zapoznanych z Gitem (o, to o mnie) - coś o sposobie pracowania nad kodem w różnych podejściach. Tak, to zdecydowanie dla mnie... same commity bez PR to nie jest najlepsze rozwiązanie :(

W ramach ciekawostek dwa bliźniacze teksty o robieniu notatek. Bo nie wszystko zmieści się w głowie. A notować tak, żeby był z tego pożytek to sztuka. Być może notujesz tak, iż niczego nie tracisz, a może chcesz się tego dopiero nauczyć?


#ai_ml

Measuring size of objects in an image with OpenCV
Jak zmierzyć wielkość obiektu na zdjęciu? Czy ta rysa jest duża czy mała? Spoiler: mając obiekt do porównania nie jest to takie trudne...

#analiza_danych_projekty

Mastering Geospatial Data Analysis with GeoPandas
Pythonowy pakiet GeoPandas podany na tacy. Od podstawowych operacji typu wczytanie i pokazanie danych mapowych po bardziej zaawansowane problemy.

#bazy_danych

DuckDB database connections. Introducing multi-database support
Trino? Po co nam Trino jak mamy DuckDB!

#ciekawostki

Głos głosowi nierówny lub o podziale mandatów do Sejmu [PL]
Wybory powinny być równe, a więc głos każdego obywatela powinien mieć taką samą wagę. Jak to wyglądało dla wyborów parlamentarnych z 2023 roku? (tekst był opublikowany przed wyborami)

The ideal PR is 50 lines long
Jak obszerny powinien być pull request? Przebadano, sprawdzono, tutaj wyniki.

Zettelkasten - jak robić wartościowe notatki? [PL]
I co jest nie tak z tradycyjnymi metodami notowania.

Tworzenie notatek metodą Zettelkasten - jak zacząć? [PL]
Czym jest metoda Zettelkasten i dlaczego warto się z nią zapoznać, jeżeli zależy wam na robieniu wartościowych, uporządkowanych i przydatnych notatek?

#data_engineering

Building a Smart City
Zbieramy różne dane "z miasta" i mielimy je w AWSie. Tak z grubsza. W tekście znajdziecie też link do ponad 2-godzinnego filmu autora pokazującego cały proces, razem z pisaniem kodu.

#devops

Czym jest Docker? I jak uruchomić model uczenia maszynowego w kontenerze? [PL]
Dowiedz się, czym jest Docker i jak wykorzystać go do uruchomienia modelu uczenia maszynowego (machine learning) w kontenerze.

Deploying a Java Web Application on Kubernetes Cluster
Proces zbudowania skonteneryzowanej aplikacji - środek serii, akurat poświęcony Kubernetesowi

10 Tips and Tricks to Optimize Your Dockerfile
W tym artykule omówiono zestaw porad i wskazówek, które pomogą Ci opanować sztukę optymalizacji plików Dockerfile.

Mastering Kubernetes for Machine Learning (ML / AI)
O wdrażaniu rozwiązań serwujących modele ML/AI (także te wymagające GPU) na środowiska Kubernetesowe

Popular git config options
Zapewne większość z nas w konfiguracji Gita ma tylko dwie opcje (user.name i user.email). A można mieć więcej i choćby może dać to korzyści

#llm_&_chatgpt

10 unexpected ways to use GitHub Copilot
GitHub Copilot to znane narzędzie wspomagające pisanie kodu, ale potrafi "trochę" więcej.

#management

From engineer to manager: what I love, what I hate
Dwa tygodnie temu pytaliśmy czy jak się zostaje dyrektorem IT to należy znać się na technologii? Dzisiaj opinia o tym, co jest fajnego w zostawaniu managerem a co nieco mniej

#programowanie_ogólnie

Strategie zarządzania kodem [PL]
Skuteczne zarządzanie kodem przy użyciu Gita. O GitFlow, GitHub Flow, Trunk Based Development. Czym różnią się te strategie i którą wybrać (w określonych warunkach).

#python

How to Write Clean Code in Python
Najważniejsze elementy czystego i przejrzystego kodu w Pythonie: czytelne nazwy zmiennych, komentarze i dokumentacja funkcji oraz klas i ich metod. Przypomnienie i szerokie omówienie.

Python Abstract Classes and Interfaces
Dużo w ostatnich wydaniach newslettera było o obiektowym podejściu do programowania w Pythonie, dzisiaj dokładniej o mniejszym wycinku tegoż - o klasach abstrakcyjnych i interfejsach. Zatem: co to @abstractmethod?

Pydantic is a Game-Changer
Szybkie wprowadzenie do Pydantic - biblioteki rozszerzającej pojęcie data-klas, wzbogacające je między innymi w walidację danych. Pydantic często używany jest w ramach projektów opartych o FastAPI i staje się coraz bardziej popularny. Nieco gratis - pod koniec tekstu znajdziecie link do porównania Pydantic z dataclasses.

Building an Investment Portfolio Management App
Jeśli inwestujesz na giełdzie (chociaż nie tylko - klocki Lego też są spoko) to prawdopodobnie śledzisz wartość swojego portfela. Tutaj autor pokazuje jak zorganizował to sobie w Pythonie, dodatkowo prezentując kilka wskaźników, które mogą być przydatne

Python libraries take the Billion Row Challenge
Miliard rekordów, miliard wierszy z danymi. Która z bibliotek poradzi sobie najlepiej?

#r

How to Make Your Shiny Apps Secured
Zabezpiecz swoje aplikacje R Shiny dzięki najlepszych praktyk w zakresie uwierzytelniania, zapytań SQL, interfejsu użytkownika, obsługi błędów i danych wejściowych użytkownika.

Deploying Shiny Apps using Docker
15 minut na YT o tym jak dockeryzować aplikacje napisane w R Shiny.

#wizualizacja_danych

What to consider when creating small multiple line charts
Kiedy używać małych wykresów wieloliniowych (w porównaniu ze zwykłymi wykresami liniowymi) i jak tworzyć lepsze. O powtarzających się liniach, niezależnych skalach, sortowaniu, kolorach i nie tylko.


Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)

Idź do oryginalnego materiału