Newsletter Dane i Analizy, 2023-08-07

blog.prokulski.science 1 rok temu

Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy

Jakie bazy danych są popularne? Które są używane, a których programiści chcieliby użyć w swoim kolejnym projekcie? Między innymi takie pytania zadano w ankiecie State of Databases 2023, której podsumowanie właśnie opublikowano. Takie ankiety są obrazem rynku - warto śledzić trendy, bo można z nich wywnioskować jakich narzędzi używają inni, w jakie warto inwestować (aby znaleźć pracowników albo pracę). Czy wyniki takich ankiet odpowiadają na pytanie Która technologia jest najlepsza? - zdecydujcie sami.

Dzisiaj poza tym dużo obszernych tekstów. Listę ponad 50 propozycji przetrzebiłem bardzo dokładnie, wybierając to co ma najwięcej kodu, najwięcej praktycznych zastosowań oraz - do tego chyba największą przykładam wagę - najwięcej można się nauczyć. Nauczyć teoretycznie (świetne teksty o stacjonarności szeregów czasowych czy metodzie Monte Carlo) ale też w praktyce (tekst o scrappowaniu w nieco bardziej zaawansowany sposób lub one on one o MLFlow).

#ai_ml

130 ML Tricks And Resources
OGROM krótkich informacji. ciekawostek, przykładów, do których czasem dochodzi się latami - tutaj podane na tacy. Warto chociaż przeskrolować

#analiza_danych_koncepcje

Comprehensive Guide to Ranking Evaluation Metrics
Metryki określające czy dobrze dopasowaliśmy elementy do grupy w problemach klasyfikacyjnych albo jak bardzo pomyliliśmy się w przewidzeniu wartości w problemach regresyjnych są dość znane. A w problemie rankingowania - jak określić czy lista jest w najlepszej kolejności czy tylko w dobrej?

How to Simulate Your Way to Better Machine Learning Models
Na początek mamy porządnie wyjaśnioną metodę Monte Carlo, a później przykład jej użycia do znalezienia najlepszego modelu.

#analiza_danych_projekty

Exploratory Analysis of New York City
Analiza danych dla początkujących - na przykładzie danych z Airbnb.

Forecasting API: an Example with Django and Google Trends
Duży i sensowny tutorial. Dość spora aplikacja w Django korzystająca z Google Trends aby... przewidzieć wartość trendu na kolejne dni.

Building a Linux Resource Monitor
Masz domowy serwerek? Albo i nie domowy? Chcesz monitorować jego parametry? I przy okazji nauczyć się używać MongoDB oraz przygotować dashboard z tymi parametrami w ReactJS? To jest idealny projekt

Time Series Analysis: Mastering the Concepts of Stationarity
Stacjonarność jest kluczowym pojęciem w problemach szeregów czasowych. Odnosi się do stabilności adekwatności statystycznych, takich jak średnia, wariancja i kowariancja w czasie. Większość modeli predykcyjnych zakłada, iż szereg prognozowany jest stacjonarny

#architektura

The fancy data stack - batch version
Zaprojektujmy stos danych, aby eksplorować dane z Tour de France. Bardziej koncept i lista narzędzi niż pełny projekt.

#ciekawostki

A command-line murder mystery
W grze chodzi o rozwiązanie zagadki kryminalnej z użyciem... poleceń powłoki z Linuksa/Uniksa. Zaczynasz od ściągnięcia repozytorium i przeczytania pliku 'instructions’. Później przyda Ci się grep, cut, awk, sed, czy jakie tam narzędzia tekstowe lubisz :)

Whom the Gods Would Destroy, They First Give Real-time Analytics
W wielu serwisach zbierających np. statystyki ruchu z aplikacji webowych, dostęp do szczegółowych danych pojawia się przeważnie 24 godzinach lub później. Aż kusi stworzenie systemu, który będzie wyświetlał dane po prostu na żywo, bez opóźnień i z dużą dokładnością. Tylko dlaczego jednak większość firm tego nie robi?

#devops

Automating FastAPI Project Build with GitHub Actions and push to DockerHub
Przykład wykorzystania GitHub Actions do zbudowania aplikacji w formie obrazu Dockera i wystawienia go do DockerHuba

#mlops

From Experiments to Deployment: MLflow 1-0-1
O co chodzi z tym całym MLOps na przykładzie MLflow

#programowanie_ogólnie

6 Powerful Techniques to Optimize Your APIs for Peak Performance
Jak możesz przyspieszyć swoje API?

#python

Python’s itertools: A Hidden Gem for Efficient Looping
Wiadomo, iż lepiej czytać dokumentację niż artykuły streszczające ją, ale artykuły pokazują przykładowe wykorzystanie i jakoś są bardziej przyjazne :) Dzisiaj więc o itertools

7 Mind-Blowing Use Cases of the Lambda Function
Sprytnie użycie funkcji lambda - dla rozwijających swoje umiejętności w Pythonie

Parsing XML into pandas DataFrames
Chyba nikt nie lubi XMLi, ale przez cały czas trzeba z nimi żyć, bo gdzieś tam w świecie występują... W analizie danych najbardziej lubimy "kwadratowe" tabelki - takie jak w SQLowych bazach, takie jak w sparokowych czy pandasowych dataframe’ach. Spark sobie z XMLami radzi, poradzi sobie też Pandas

Python Profiling
Dlaczego Twój kod jest wolny? Albo może raczej w którym miejscu jest wolny? Profiling w praktyce

Choosing the Right Python Framework
Dowiedz się o zaletach i wadach Django, Flask, FastAPI i AIOHTTP, aby wybrać najlepszy framework sieciowy Pythona do swojego następnego projektu.

Scalable Real-Time Apps with Python and Redis
Asynchroniczne API przygotowane w FastAPI wspomaganym Redisem. Bo zapytań może być dużo...

#r

Click Event on Leaflet Tile Map in Shiny
Jeśli w swojej aplikacji Shiny używasz map poprzez Leaflet to możesz swobodnie dowiedzieć się w jaki punkt kliknął użytkownik. Zobacz jak :)

Using flexdashboard to create a GitHub Actions-powered YouTube feed
Wyszukiwarka filmów z kanałów YouTube zbudowana we frameworku do budowania raportów oraz aktualizowana akcjami GitHuba - inspirujące!

#wizualizacja_danych

Treemaps are awesome!
Istnieje szansa, iż nigdy wcześniej nie słyszałeś o metodzie wizualizacji danych zwanej TreeMap, a przynajmniej nie do końca wiesz, iż tak to się nazywa ;) Metoda ta umożliwia czytelną prezentację danych hierarchicznych, co może przydać Ci się w codziennej pracy w celu zobrazowania zależności między systemami lub ich elementami. Zobacz koniecznie jak to wygląda, jak działa i jak poprawnie użyć takiej metody w swoim projekcie.