Newsletter Dane i Analizy, 2023-07-17

blog.prokulski.science 1 rok temu

Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy

Gorąco polecam tekst Data Engineering Project: IMDB Movie Analysis - przykład świetnego projektu pozyskiwania i przetwarzania danych.

A kiedy dane są już przetworzone - można je pokazać. Wspomniany tekst analizujący dane z IMDB też zawiera ten element, ale dzisiejsze wydanie pokazuje więcej takich przykładów czy też tutoriali. Mamy coś o rysowaniu wykresów (super jest Plotly and Pandas: Combining Forces for Effective Data Visualization) ale też o kolorach i ich doborze do wykresów.


#ai_ml

The Complete Guide to Keras Loss Functions
Każdy model uczy się tak, aby dopasować się do metryki, która weryfikuje czy działa on dobrze czy źle. Trzeba więc wiedzieć jak te metryki działają, aby osiągnąć to, czego chcemy. Tutaj znajdziesz informacje o metrykach dostępnych w TF

#analiza_danych_koncepcje

Save your A/B testing by avoiding those 3 costly mistakes
Trzy zagadnienia, które poprawią, iż nieco inaczej pomyślisz o testach A/B, a w konsekwencji prawdopodobnie osiągniesz lepsze (pewniejsze) wyniki

Markov Chain Attribution Modelling
Czy potrafisz poprawnie przypisać kanał, który przyniósł Ci konwersję?

#analiza_danych_projekty

How to design a dbt model from scratch
Jak projektować model danych przy okazji budowania potoków w Databricks

#architektura

Top 6 Most Popular API Architecture Styles
Czym różnią się od siebie i jak działają najpopularniejsze sposoby komunikacji poprzez API? Czyli SOAP, RESTful, GraphQL, gRPC i kilka innych (YT, 4 minuty)

#bazy_danych

Create an advanced search engine with PostgreSQL
PostgreSQL zapewnia niezbędne elementy do stworzenia własnej wyszukiwarki pełnotekstowej. Zobaczmy, jak daleko możemy się posunąć.

Advanced MongoDB Queries in JavaScript for Advanced Data Operations
MongoDB pozwala nie tylko na proste zapytania o jeden lub wiele dokumentów czy też potrafi obliczyć jakieś agregaty. Potrafi też nieco więcej.

#big_data

Data Engineering Project: IMDB Movie Analysis
Czy w tym numerze newslettera pojawia się zagadnienie ETL? Pojawia się i to nie raz. Na pewno tutaj - czytamy dane z IMDB, przetwarzamy i wrzucamy do bazy danych (konkretnie BigQuery). Potem używamy Databricks aby je przetwarzać i wizualizować w PowerBI. Całością zarządza AirFlow

Redis & Trino - Real-time indexed SQL queries
Połączenie szybkiej bazy in-memory jaką jest Redis z Trino, które pozwala na odpytywanie różnych źródeł językiem SQL. YT, około 25 minut.

Listen to That Poor BI Engineer: We Need Fast Joins
Nie da się zaprzeczyć, iż JOIN to jedna z podstawowych operacji jakiej używają analitycy danych - bo dane trzeba łączyć. A Doris jest w to niezła

#ciekawostki

The Fastest Maze-Solving Competition On Earth
Zastanawialiście się co powoduje, iż nasza cywilizacja techniczna doszła do tego miejsca w którym jesteśmy obecnie? Zobacz to na przykładzie ciągłej ewolucji w wyścigach mikromyszy szukających drogi w labiryntach. Wiedzieliście, iż najkrótsza ścieżka w labiryncie nie zawsze jest najszybsza? YT, 25 minut

#devops

Bash Scripting: Exploring Advanced Concepts and Extra Elements
Ostatni post w serii, która opowiada o pisaniu skryptów w Bashu. A, iż wiele rzeczy w Bashu można zrobić, to warto się zapoznać z całym cyklem

#kafka

Understanding Kafka with Factorio
Factorio to gra, symulacja budowy i zarządzania. Świetnie też nadaje się do wyjaśnienia jak działa Apache Kafka. Osobiście używamy też analogii do torów, pociągów, wagonów i pasażerów lub "analogii hydraulicznych".

#python

A Beginner’s Guide to ETL with Python
Prosty proces ETL (Extract-Transform-Load) dla początkujących, zagłębimy się w każdy krok i zilustrujemy go rzeczywistym przykładem w Pythonie.

A Deep Dive into .loc and .iloc
Opanuj .loc i .iloc i wybieraj dane z pandasowych tabelek bardzo precyzyjnie

Exploring 10 Lesser-Known Decorators for Enhanced Code
Kilka ciekawych i użytecznych dekoratorów. jeżeli już wiesz czym są dekoratory, ale nie masz pomysłu do czego ich używać to tutaj znajdziesz inspirację, ale też gotowe rozwiązanie!

Metaclasses in Python: A Quick and Easy Guide
Wyjaśnienie koncepcji metaklas w Pythonie, w tym ich przypadków użycia, przykładów i sposobu ich definiowania.

#sql

SQL Data Science Job Interview Questions You Need To Know in 2023
Zagadnienie SQLowej konstrukcji CASE WHEN w szczegółach i przykładach

#ux

Invisible Details of Interaction Design
Wszyscy znamy linki, przyciski, paski przewijania, ale to tylko wierzchołek góry lodowej w kategorii interakcji z użytkownikiem. Istnieją jeszcze metody interakcji z interfejsem użytkownika, które są tak naturalne, iż praktycznie ich nie zauważamy. Ale ktoś jednak musiał je zaimplementować. Ten artykuł świetnie pokazuje, jak taki 'interaction design’ może wyglądać.

#wizualizacja_danych

Plotly and Pandas: Combining Forces for Effective Data Visualization
Tekst zainspirowany znakomitą książką "Storytelling with Data", pokazujący jak przygotować czytelną wizualizację danych w Pythonie

Creating an Infographic with Matplotlib
Czy Pythonowy matplotlib pozwala przygotować dobrze wyglądające infografiki? Pozwala.

Creating a Design System to Prevent Problematic Colour Pairings
Nie wszyscy widzą kolory tak samo, dla niektórych osób teoretycznie dwa różne kolory wyglądają jak jeden. To ważne przy kolorowaniu wykresów.


Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)

Idź do oryginalnego materiału