Newsletter Dane i Analizy, 2024-04-22

blog.prokulski.science 6 miesięcy temu

Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy


#ai_ml

Create an AI-Driven Movie Quiz!
Ciekawy projekt, który tworzy quiz wiedzy na temat filmów. Dane o filmach zebrane są z internetowej bazy, przetworzone przez mechanizmy AI, a cała zabawa odbywa się z wykorzystaniem API. Tekst opisuje projekt, a sam kod dostępny jest na GitHubie

#analiza_danych_koncepcje

SOLID Principles Applied to Data Science
Jak zbudować standardowy proces MLowy (wczytanie danych, preprocessing, uczenie modelu i finalna predykcja na nowych danych) w zgrabną architekturę spełniającą zasady SOLID?

#analiza_danych_projekty

Simulating Systems
Jedna kolejka do wielu kas czy wiele kas, każda z własną kolejką? W którym sklepie klienci będą czekać krócej? O tym właśnie problemie jest ten tekst, pokazujący jak zasymulować "sklepy" i znaleźć rozwiązanie.

3 Best Methods for Spatial Interpolation
Mamy wartość zmierzoną w kilku punktach mapy. Jak wyliczyć wartości dla wszystkich punktów?

Parse Your Invoices with LayoutLM and Label Studio
O maszynowym czytaniu faktur, które wcale nie są tak jednakowe jak się może wydawać

#architektura

Ten Years and Counting: My Affair with Microservices
10 lat temu Allegro wystartowało z projektem Rubicon, którego celem było zburzenie monolitu i wprowadzenie mikroserwisów.

REST API Design Best Practices
10 zasad pisana dowolnego REST API - adekwatnie checklista dla początkujących.

#ciekawostki

The UX of UUIDs
O użyteczności (i jej braku) UUIDów. Niektóre proste podejścia (prefix) powodują, iż "klucz" jest czytelny, wiadomo do czego służy, od kogo pochodzi itd. Można też inaczej - na przykład odpowiednio ustawiać kolejne bity, ale czy to sprawia, iż wynikowy ciąg znaków jest jakkolwiek czytelny?

Radio Synteza - polskie radio generowane przez AI [PL]
Projekt Polskiego Radia, w którym sztuczna inteligencja przejmuje rolę twórców muzyki oraz prezenterów radiowych. Artykuł opisuje, jak od strony technicznej powstają grane w radiu utwory i audycje.

Total eclipse of the Internet
Cloudflare pokazuje jaki wpływ na ruch w internecie miało zaćmienie Słońca

#data_engineering

Uber Data Analytics | End-To-End Data Engineering Project
Analiza danych Ubera w środowisku Google, w tym w BigQuery , z wizualizacją w Lookerze (YT, 1h45m, angielski)

How to build a Real-Time News Search Engine
Projekt pokazujący jak zebrać dane (nowe wiadomości), przetworzyć je do postaci wektorowej, zapisać w wektorowej bazie, a na koniec - przeszukiwać (tej części już nie ma). Wszystko oparte o gotowe rozwiązania, część z nich można zastąpić własnym kodem.

#devops

13 Docker Cost Optimizations You Should Know
Jak zmniejszyć wielkość obrazów dockerowych, ale też wielkość całego środowiska dockerowego? Trzynaście sposobów

IP Address API
API do sprawdzania adresów IP

#management

Przepis na udany EventStorming krok po kroku [PL]
Jak to jest, iż jako programiści głównie musimy się uczyć, a powstały kod to tylko skutek uboczny tego procesu? Powiedz, jaka jest wartość dobrego kodu, napisanego na czas i w budżecie, przez kogoś, kto nie zrozumiał problemu do rozwiązania? EventStorming pomaga w procesie zwanym "knowledge crunching", czyli wyciągania wiedzy od osób, które ją mają.

#python

Build a CRUD Flask API with PostgreSQL
Film pokazuje jak zbudować w FastAPI typową CRUDową aplikację współpracującą z bazą danych. Clue jest tutaj parametryzowanie w Dockerze informacji dostępowych do bazy (YouTube, 44 minuty, po angielsku)

How to Use Python Built-In Decoration to Improve Performance Significantly
Python ma wbudowane mechanizmy cache’owania danych zwracanych przez funkcje - jak ich użyć? Wystarczy jeden dekorator!

10 Image Processing Steps Using NumPy
Obrazki dla komputera to tablice z cyferkami, w 2 labo 3 wymiarach. A do tablic z cyferkami świetnie nadaje się NumPy...

A Guide to Geometric Transformation with Python
Skoro obraz jest macierzą punktów to może mnożąc przez inną macierz można otrzymać inny obraz? Na tym właśnie polegają transformacje, a o tych podstawowych jest niniejszy tekst

Run multiple Selenium tasks simultaneously with Asyncio for Web Scraping
Zamiast odczytywać stronę po stronie można pójść równolegle i asynchronicznie, co oczywiście przyspieszy pracę naszych narzędzi do scrapowania danych. W tekście przedstawiono kilka sposobów na takie działanie

#r

How to Create Animated and Interactive Drilldown Charts
Wykresy w które można "wejść" na poziom głębiej, "rozklikać". Jak je przygotować w R z pakietem Highcharts, ale sama biblioteka posiada porty też do innych języków


Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)

Idź do oryginalnego materiału