Newsletter Dane i Analizy, 2022-06-20

blog.prokulski.science 2 lat temu

Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy

Długi weekend się przedłużył... ale zgodnie z planem (a nie iż "melanż poniósł za daleko" ;-). Newsletter przygotowany, a (prawie) jednodniowe opóźnienie nie powinno zmienić Waszego stosunku do zawartości. Odrobina tęsknoty (mam nadzieję) nikomu jeszcze nie zaszkodziła.

Deszcz pada w całym kraju, zapraszam zatem do lektury!


#AI_ML

Model Tracking with MLFlow & Deployment with FastAPI
Fajny tutorial pokazujący jak śledzić wyniki modelu przez MLFlow oraz serwować ten najlepszy przez FastAPI

Unbalanced Data? Stop Using ROC-AUC and Use AUPRC Instead
Czy ROC i AUC to dobre miary dla niezrównoważonych zestawów danych? Może jest lepsza miara?

#analiza_danych_koncepcje

Implementing Hearst Patterns with SpaCy
Automatyczne wykrywanie relacji hiperonim - hiponim czyli relacji znaczeniowych takich jak pies - jamnik, wilczur (pies jest bardziej ogólny, w języku programowania obiektowego trochę tak, iż jamnik dziedziczy z psa). interesujący problem, dający się rozwiązać mechanicznie

How to Download Uber’s Hexagonal Grid
Uber dzieli sobie mapę na sześciokąty. Tutaj znajdziesz trochę więcej informacji na ten temat oraz sposób na pobranie takiej mapy

#analiza_danych_projekty

Network Analysis for Transportation Planning
Analiza sieci (grafy) jako pomocnik w planowaniu transportu

Tramwajem po grafie
I wykorzystanie w praktyce takiej analizy na przykładzie warszawskich tramwajów oraz języka R

Loading Location History Places From Google Timeline Into Pandas and CSV
"A gdzie to się było?" - ile razy ojciec albo matka zadali Ci to pytanie? Odpowiedź jest prosta: Google wie (oczywiście jeżeli udostępniasz lokalizację), więc dzięki kawałka kodu w Pythonie można to wyjąć i choćby pokazać na mapie

Insurance Charges Prediction Using MLIB
Prosty dataset, prosta regresja w PySparku i jego MLIB - tutorial wprowadzający w świat machine learning przy użyciu PySpark

#architektura

Apache Kafka Use Cases
Kilka przykładowych rozwiązań architektonicznych gdzie użyto Apache Kafka i gdzie dzieje się dużo (nawet jeżeli architektura nie jest złożona). Ku inspiracji architektów rozwiązań 🙂 Oraz tak - projektujemy takie rzeczy na co dzień.

Design Data pipeline and streaming using Kafka
I jeszcze przykłady wykorzystania Kafki

#big_data

Building Pipelines for Serverless Spark
Wykorzystanie Apache Airflow do definiowania potoków danych dla Spark

#ciekawostki

Using the Google Optical Character Recognition API
Wiecie, iż Google udostępnia usługę OCR jako API?

What I Like and Don’t Like About AutoML as a Data Scientist
Mówi się, iż narzędzia typu AutoML pozbawi pracy data scientistów. Pozbawi?

Finding the Maximum Area Under Points on a Curve in Python
Mamy dowolną krzywą i jeden z jej punktów traktujemy jako wierzchołek prostokąta, a przeciwległym wierzchołkiem jest początek układu współrzędnych. Jak znaleźć największy prostokąt?

How To Find Meaning In Programming
Spraw, aby wypalenie zawodowe było odległym wspomnieniem choćby w czasach dużego stresu :)

Enabling Offline Inferences at Uber Scale
O sześciokątnych mapach w Uberze było wyżej, a tutaj o tym jak zespół wsparcia wykorzystuje zgromadzone dane do poprawy obsługi klientów i identyfikowania zgłaszanych przez nich problemów

#python_mid

How to list and download files from SharePoint
Microsoft Sharepoint może być przydatny, chociażby jako storage dla plików (o, to dobre jego zastosowanie). Jak takie pliki pobierać w Pythonie?

Using Document Properties to Track Your Excel Reports
Wiecie iż pliki Excela mają metadane? Autora, czas utworzenia czy też ostatniej zmiany, tytuł, temat a choćby tagi! Można nimi manipulować z poziomu Pythona, a jakże!

An End-to-End Guide to Publish Your Python Package
A więc to jest Twój autorski pakiet w Pythonie który może uratować świat? Trzeba go tylko światu przekazać...

#r

Automated Survey Reporting
Tworzymy ankietę w Google Form, a potem dzieje się magia i jej podsumowanie automatycznie generuje plik (R)Markdown, z któego może być gotowa prezentacja albo raport a PDF!

#środowisko_pracy

Setup Grafana with Prometheus for Python projects using Docker
Jak skonfigurować monitorowanie usług dla projektów (tutaj w Pythonie, ale to bez różnicy) dzięki Prometheusa i Grafany przy użyciu kontenerów Dockera. Monitorowanie usług pozwala nam analizować określone zdarzenia w naszych projektach, takie jak wywołania bazy danych, interakcja API, śledzenie wydajności zasobów itp.


Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)

Idź do oryginalnego materiału