Newsletter Dane i Analizy, 2024-11-11

blog.prokulski.science 1 tydzień temu

Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy

Święto lasu słuchajcie! I to nie chodzi wcale o to, iż dzisiaj mamy Narodowe Święto Niepodległości, ale o to, iż w newsletterze mało o Pythonie! Więcej mamy w działce "DevOps" (która nie tylko o procesach CI/CD jest, ale też o tym jak pisać - i w tym numerze też debuggować - skrypty w Bashu) niż programowania przepływów danych czy innych finezyjnych (mniej lub bardziej) sztuczek w Pandas albo DuckDB...

Za to dowozi dzisiaj sekcja opisująca nieco bardziej teoretycznie zagadnienia ML-owe. Chyba dobrze, co?

Miłego świętowania!


#ai_ml

Classifying Rice with PyTorch: A Step-by-Step Guide
Takie rozpoznawanie cyferek (ale nie cyferek, a ziarenek ryżu) - jako wprowadzenie do PyTorcha i użycia go do klasyfikacji obrazków.

#analiza_danych_koncepcje

Techniques for automated feature selection
Proste sposoby na wyłuskanie z danych cech, które mogą wnieść wartość do modelu.

Mastering t-SNE
Z byciem data scientistą jest trochę tak, iż można na czuja (albo sprawdzając po kolei wszystko) wybierać algorytmy z np. SKLearn albo rozumieć działanie poszczególnych rozwiązać i stosować je zgodnie z zagadnieniem i możliwościami rozwiązania. jeżeli chcesz być w tym drugim gronie i coś o t-SNE wiedzieć to jest to tekst dla Ciebie. Gotowe przykłady użycia też są.

Comparing Time Series Algorithms
Dwa różne szeregi czasowe... a może takie same? Narzędzie do porównywania serii danych ułożonych w czasie ze sobą.

Markov Decision Problems in Robotics
"Jak jesteś głodny to idź zjeść, a jeżeli nie pomoże to idź zjeść jeszcze raz". Problemy decyzyjne Markowa (MDP) stanowią istotny temat w robotyce i sztucznej inteligencji, gdyż stanowią bramę do bardziej złożonych zagadnień, takich jak uczenie przez wzmacnianie i częściowo obserwowalne problemy MDP.

Data Leakage in Preprocessing, Explained
Wycieki danych na przykładach. Jak informacje z próbki uczącej mogą przenikać do próbki testowej?

#bazy_danych

Mastering Database Design: Normalization
O normalizacji danych w bazie. Dlaczego warto, co to daje i jak się zabrać za takie zadanie? A adekwatnie jak zaprojektować strukturę na początku, przed pojawieniem się pierwszych danych w bazie

#ciekawostki

How do QR codes work? (I built one myself to find out)
Jak kody QR przechowują informacje i dlaczego uszkodzony kod przez cały czas działa? Ile informacji realnie można tam umieścić (to może Cię zdziwić). Autor próbuje własnoręcznie zbudować działającą, fizyczną wersję takiego kodu. Sporo ciekawostek. Przy okazji dowiesz się, dlaczego jeden z pikseli we wszystkich kodach QR jest zawsze czarny.

#devops

Error Handling in Bash: 5 Essential Methods with Examples
Artykuł przedstawia najważniejsze techniki obsługi błędów w skryptach Bash. Autor przedstawia kilka podstawowych metod na realizację tego zadania - od sprawdzania kodu wyjścia operacji, przez zakładanie pułapek (funkcja trap), użycie 'set -e’, czy pisanie dedykowanych funkcji obsługi błędów. Znajomość tych technik umożliwi Ci tworzenie bezpieczniejszych i bardziej stabilnych skryptów.

Migration of Standalone Application and Database from VM to Cloud
Mamy przygotowaną (na przykład lokalnie) aplikację i bazę danych i chcemy docelowo wdrożyć cały ten zestaw na Kubernetesa w chmurze i skorzystać z chmurowego rozwiązania bazodanowego. Jak?

#llm_&_chatgpt

Classify Jira Tickets with GenAI On Amazon Bedrock
A gdyby tak użyć AI do wstępnej obróbki zgłoszeń z Jira? Być może historyjki dla programistów nie koniecznie powinny przechodzić przez taki proces, ale zgłoszenia wpadające od strony Jira Service Management?

#python

Mastering Pydantic 2
Na przykładzie biblioteki.

#wizualizacja_danych

Visualize voting trends in 20 years’ worth of U.S. election data
Wybory w USA już za nami, ale tego typu wydarzenia bardzo lubią mapki i pokazywanie na nich danych - czy to wyników, częściowych wyników, sondaży czy też trendów. I tutaj mamy takie zagadnienie. Świetny, otwierający głowę tekst. Czy w 2025 roku zobaczymy podobne wizualizacje dla polskich wyborów prezydenckich?

Rasterizing Vector Data in Python
Zrasteryzujmy mapę wektorową! Czyli co? Czyli mamy obrysy obszarów i przenieśmy je na kolory. A jeżeli obrys jest poziomicą to dostaniemy przepis na zbudowanie "góry" z Lego!


Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)

Idź do oryginalnego materiału