Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy
Lubię DuckDB i lubię AirFlow. Kafka jest naturalnym sposobem na przesyłanie danych między systemami czy też mikroserwisami. Stąd też dzisiaj kilka tekstów zahaczających o te wszystkie technologie.
Dodatkowo trochę z obszaru zarządzania - zarówno opis typowego projektu data science jak i metryka opisująca stabilność kolejki prac.
No i trochę o mapkach, bo mapki są fajne.
#ai_ml
Fully Explained Softmax Regression for Multi-Class Label with Python
Klasyfikacja do wielu klas - o co tutaj chodzi? Przewodnik dla początkujących
A New Modelling Paradigm for Semantic Segmentation
Repozytorium kodu prezentujący nowe podejście do segmentacji obrazu
#analiza_danych_projekty
Age, Gender and Emotion prediction using OpenCV
Czy ze zdjęcia twarzy można określić wiek, płeć i wyrażane emocje? Można. W tym artykule znajdziesz na to przepis, który wykorzystuje gotowy model. Przy okazji więc - dowiesz się jak taki gotowy model wykorzystać.
Identifying Topical Hot Spots in Urban Areas
Gdzie znajdują się "gorące miejsce" w mieście? Gdzie znajdziemy skupiska restauracji? A gdzie sklepy? Wykorzystując dane z OpenStreetMap i algorytm DBSCAN można to bardzo gwałtownie "wyłuskać"
Analyze Canadian Open Data Inventory with LangChain, OpenAI, and DuckDB
OpenAI użyte do analizy danych składowanych w bazie danych.
#bazy_danych
DuckDB: The indispensable geospatial tool you didn’t know you were missing
Omówienie funkcji, które sprawiają, iż pokochasz DuckDB i jego potencjał w świecie geoprzestrzennym. Tak, DuckDB "umie w geo" (i to jak!)
How Zalando migrated their shopping carts to Amazon DynamoDB from Apache Cassandra
50 milionów aktywnych użytkowników - jak zmigrowano ich z jednej bazy do drugiej?
#bezpieczeństwo
How to implement security for microservices
Jednym z częstych argumentów podnoszonych przeciwko architekturze mikrousług jest to, iż zmniejsza ono bezpieczeństwo aplikacji. Jak można sobie radzić z takim zagadnieniem?
#big_data
Data Engineering End-to-End Project
Ciekawy przykład "luźnego" (pod względem architektury) projektu przerzucania danych. W użyciu narzędzia, które lubimy: AirFlow, Kafka, MongoDB
#devops
Tips and Tricks for Bash Scripting After Writing Hundreds of Scripts
Kilka wskazówek dla początkujących autorów skryptów w bashu - lepiej wiedzieć wcześniej, niż godzinami zastanawiać się dlaczego coś nie działa.
#kafka
How to build an advanced stateful data stream processing
Praktyczny przykład obliczania salda konta w czasie rzeczywistym przy użyciu Kafka Streams i magazynu stanu klucz-wartość.
#llm_&_chatgpt
ChatGPT na produkcji - nie jest tak pięknie
Czy jako programiści jesteśmy już gotowi do współpracy z AI na produkcji? Niekoniecznie... 30 minut na YouTube, po polsku
#management
6 Stages of Data Science Project
Właściwie każdy projekt można sprowadzić do jakiegoś szablonu mówiącego o sposobie jego realizacji. Stąd właśnie biorą się metodyki projektowe. Nie inaczej jest w świecie projektów data science.
How Agile Teams Can Improve Predictability by Measuring Stability
Prosta metryka, dane wyciągnięte z Jira i analiza procesów gotowa.
#python
Cleaning Data For Data Analysis
Dobry model ML/AI zwykle potrzebuje dobrych danych. Dobrych czyli uporządkowanych i "czystych". Jakie są więc typowe sposoby na czyszczenie danych? Dla początkujących
Get 10x Faster Speed In Pandas With These Simple Steps
Jak zrobić, żeby przetwarzanie danych w Pandas było mniej pamięciożerne i mniej czasochłonne? Kilka prostych sztuczek, o których warto pamiętać.
Creating and Deploying Streamlit Applications: Essential Tips
O budowaniu większych aplikacji (albo ich zestawów) w Streamlit. O strukturze kodu, o cache’owaniu
100 Python Tricks to Get a Job at Google (or Any Big Company)
Duża lista dobrych praktyk, tricków i sztuczek w Pythonie. jeżeli znasz je wszystkie (i stosujesz, jeżeli zajdzie potrzeba) to chyba jesteś seniorem :)
From GeoJSON to Network Graph
Kraje jako wierzchołki grafu - kto z kim sąsiaduje? Jaka jest najkrótsza trasa z państwa A do państwa B?
I‘d been writing for 1 year on FastAPI after 5-year experience on Django. And here what I’ve found
Okiem praktyka - Django czy FastAPI? Kiedy jeden framework, a kiedy drugi? Uczciwy tekst.
#wizualizacja_danych
Graphic Design for Software Engineers and Architects
Nie jest tajemnicą, iż inżynierowie mają określony "styl" swoich projektów graficznych, w tym schematów technicznych
The World Map with Many Faces
Mapa mapie nie równa. Zawsze kąty proste pomiędzy równoleżnikami i południkami? A może zachowane odległości? A może kształty?
Data Vis Dispatch, October 17
Przegląd najciekawszych wizualizacji z minionego tygodnia. o ile interesuje Cię temat prezentacji danych - śledź tego bloga, bo co tydzień znajdziesz tam coś interesującego i inspirującego
Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)
