Newsletter Dane i Analizy, 2025-04-21

blog.prokulski.science 2 dni temu

Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy

Pomimo trwających świąt (chociaż już za moment "święta, święta i po świętach") dość obfita paczka materiałów leci do Ciebie.

Dzisiaj praktyczne zastosowania computer vision w śledzeniu piłkarzy oraz implementację mechanizmu uwagi z architektury Transformer, pokazując jak zaawansowane modele mogą być budowane od podstaw. Dla tych, którzy podkręcają zapytania SQL - coś o ich optymalizacji w PostgreSQL. Do tego oraz kompleksowy przewodnik po budowie nowoczesnych hurtowni danych.

Deweloperzy znajdą wartościowe treści dotyczące automatyzacji procesów z wykorzystaniem Jenkins i integracji z GitHubem, a także automatyzacji przeglądów kodu przy pomocy modeli LLM. W sekcji Python szereg praktycznych narzędzi - od integracji JWT z FastAPI, przez korzystanie z biblioteki HTTPX, po wizualizację danych z Excela przy użyciu Dash.

Dla ciekawych szerszego kontekstu branżowego polecamy analizę systemu gamifikacji Reddita, który angażuje ponad miliard użytkowników, oraz przegląd kluczowych praw inżynierii oprogramowania, które warto znać niezależnie od specjalizacji.

W zeszłym tygodniu najchętniej czytaliście:

20 Cutting-Edge Statistical Techniques Every Data Scientist Should Master in 2025 Stop Wasting Time on These 8 Overrated Python Libraries A non-beginner Data Engineering Roadmap — 2025 Edition The PostgreSQL Performance Playbook: Solving Slow Queries with Simple Steps Data science w Pythonie, w rzeczywistym projekcie - mój autorski, darmowy cykl mailowy

Zapraszam też na moje sociale związane z tym newsletterem: fanpage i LinkedIn, niedługo może nieco więcej będzie na YouTube.


#ai_ml

Building a Football Tracking System with YOLO and Python
W tym artykule pokazano, w jaki sposób można wykorzystać komputerowe widzenie do zrozumienia i analizy materiału filmowego z meczu piłki nożnej.

Diving Into the Transformer Attention Mechanism
W tym projekcie pokazano jak zaimplementować mechanizm uwagi z architektury Transformer przy użyciu czystego Pythona, bez użycia frameworków. Mechanizm uwagi składa się z operacji macierzowych, które są podstawą matematyczną modelu. Budowanie od podstaw ma sens w przypadku dostosowania architektury lub w celach edukacyjnych.

#analiza_danych_projekty

Enhancing Time Series Forecasting with Dynamic Weighted Trees
W tym artykule autor proponuje praktyczne, wydajne i interpretowalne ramy drzewa decyzyjnego do prognozowania szeregów czasowych, które łączą autoregresyjne opóźnienia, wzorce sezonowe i ważenie oparte na niedawności.

#bazy_danych

Hacking the Postgres Statistics Tables
Dodanie rozszerzonych statystyk może dodać informacje o tym, jak kolumny są powiązane. Louise przedstawia kilka przykładowych zapytań i wskazówek dotyczących pracy z rozszerzonymi statystykami tabel, które mogą znacznie poprawić wydajność zapytań.

#big_data

Building a modern Data Warehouse from scratch
Projekt ten demonstruje kompleksowe rozwiązanie w zakresie magazynowania danych i analiz, od budowy magazynu danych po generowanie użytecznych spostrzeżeń. Czego się nauczysz: projektowania nowoczesnego magazynu danych przy użyciu warstw Medallion, czym jest ETL, opracowywania tabel faktów i wymiarów zoptymalizowanych pod kątem zapytań analitycznych.

#devops

Jenkins-Based Deployment with GitHub Integration
W tym przewodniku wyjaśniono, jak wdrożyć aplikację dzięki potoku Jenkins. Przeprowadzimy Cię przez bezpieczną konfigurację SSH, integrację GitHub i automatyczne wdrażanie na serwerze zdalnym.

Automated Code Reviews with LLMs in Azure DevOps
Przeglądy kodu są ważne, ale często czasochłonne, subiektywne i niespójne. Autor opracował automatyczny przepływ pracy, aby usprawnić proces oceny kodu. Po utworzeniu pull requesta w Azure DevOps, narzędzie analizuje kod statycznie, stosując zdefiniowane przez zespół standardy.

#llm_&_chatgpt

Data Engineering with Python and AI/LLMs - Data Loading Tutorial
Pozyskiwanie danych na potrzeby inżynierii danych w języku Python - kurs. Naucz się radzić sobie z typowymi awariami potoku, takimi jak zmiany schematu i limity API, przyjmując sposób myślenia i praktyki starszego inżyniera platformy. Kurs obejmuje podstawowe techniki, w tym wyodrębnianie danych z interfejsów API, automatyczne zarządzanie schematami, ładowanie przyrostowe i orkiestrację skalowalnych, zautomatyzowanych przepływów pracy przy użyciu nowoczesnych narzędzi. [YT, prawie 4h]

Train Your Own LLM - Tutorial
Kurs ten został stworzony, aby pomóc początkującym nauczyć się, jak szkolić model językowy od początku do końca. [YT, 3.5h]

#management

Time Management
Zarządzanie czasem jest ważne, ale wielu ludzi ma trudności z jego kontrolą. Istnieją dwie najważniejsze kategorie technik zarządzania czasem: uporządkowane metody i ramy zwiększające produktywność. W tym tekście przedstawiono kilka różnych metod korzystających z tych technik.

#programowanie_ogólnie

Learning These Things Made Me A RegEx Expert!
Poznaj tych 11 wzorców i zostań ekspertem w dziedzinie wyrażeń regularnych! O RegEx nigdy dość, bo i tak się zapomina.

When Inheritance is a Good Thing
Dziedziczenie jest kiepskim sposobem na ponowne wykorzystanie kodu i może prowadzić do trudności w konserwacji i testowaniu. Programiści powinni go unikać. Ale czy ma tylko wady?

Every Caching Strategy Explained in 5 Minutes
Buforowanie jest jedną z najprostszych koncepcji, jakie znają deweloperzy, a jej cel to przyspieszenie działania i zmniejszenie obciążenia podstawowych magazynów danych (takich jak bazy danych). Bufory oferują szybszy dostęp i chronią zaplecze przed powtarzającymi się żądaniami. Ile znasz sposobów cache’owania?

7 ‘Essential’ Programming Books That Are Actually Making You a Worse Developer
"Jakie książki powinienem przeczytać, aby stać się lepszym programistą?"

#python

FastAPI Security: How I Nailed JWT
Integracja JWT z FastAPI - autor dzieli się swoimi doświadczeniami jednocześnie pokazując jak wykorzystać tokeny JWT w FastAPI.

Streaming with Pydantic AI
Pydantic AI to nowszy framework agenta LLM. Został stworzony przez zespół stojący za Pydantic.

7 Levels of Using HTTPX
Poznaj 7 poziomów korzystania z biblioteki httpx w Pythonie: od podstawowych żądań GET po zaawansowane techniki asynchroniczne, obsługę błędów, przesyłanie strumieniowe i przesyłanie plików.

Using Python and Dash to Visualize/Chart Excel Data in your Local Browser
Przyjrzyjmy się, jak używać Pythona i Dash do tworzenia serii wnikliwych wykresów z pliku Excel.

Praktyczne wykorzystanie PODSTAWOWYCH umiejętności w Pythonie [autopromocja]
Ta książka jest praktycznym przewodnikiem po wykorzystaniu Pythona do automatyzacji zadań. Skupia się na budowie aplikacji, w której trzeba skorzystać z usług sieciowych (API), baz danych oraz przygotować prezentację zebranych danych. jeżeli chcesz to robić, a nie wiesz jak - kup ją :)

#ux

Reddit’s Shiny Secret: Gamifying for 1.1 Billion People
Czy kiedykolwiek zauważyłeś, jak satysfakcjonujące jest zdobycie małej cyfrowej odznaki na swojej ulubionej platformie Skąd bierze się to ciepłe, przyjemne uczucie? Przyjrzyjmy się światu odznak i dlaczego jest ona wpisana w nasze najgłębsze psychologiczne połączenia.


Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)

Idź do oryginalnego materiału