Newsletter Dane i Analizy, 2024-04-08

blog.prokulski.science 6 miesięcy temu

Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy


#ai_ml

SVM One-Class Classifier For Anomaly Detection
Poznaj mechanizm One-Class SVM pod kątem wykrywania anomalii. Jakie są niuanse, hiperparametry? Do tego praktyczna implementacja identyfikacji rzadkich zdarzeń.

Decision Trees: Split Methods & Hyperparameter Tuning
O przycinaniu drzew decyzyjnych - rozbudowane podstawy algorytmów ML

Comprehensive Guide on Linear Discriminant Analysis
Rozbudowane podstawy algorytmów ML, ciąg dalszy - o redukcji wymiarów

#airflow

Utilizing DockerOperator in Airflow
Jak użyć AirFlow do zarządzania procesami składającymi się ze zdockeryzowanych elementów?

#architektura

Microservices Design Principles You Really Need To Learn
Przewodnik dla programistów i architektów o podstawach projektowania mikrousług. Taki porządny bryk

#bezpieczeństwo

Kobold letters
Wyobraź sobie, iż dostajesz na firmowego maila niewinnie wyglądającą wiadomość. Nie ma załączników, nie ma żadnych linków, nie ma w niej absolutnie nic podejrzanego. To jest w pełni bezpieczna przesyłka z prośbą, na przykład, o dopytanie w księgowości, czy faktura została opłacona. Oczywiście, nie masz zamiaru nikogo pytać, więc robisz forward tej wiadomości i... tutaj zaczyna się atak. Mail, który forwardujesz, nie jest tym, który przeczytałeś. Ale jak to jest możliwe?! O tym przeczytasz w artykule.

#ciekawostki

14 LLMs fought 314 Street Fighter matches
Który model LLM najlepszym? A niech się leją! Dosłownie!

Some Git poll results
Wyniki ankiety na temat znajomości Gita przez programistów. Wyniki wynikami, ale niektóre z pytań może zainspirują Cię do poznania Gita lepiej?

#data_engineering

How does Uber build real-time infrastructure to handle petabytes of data every day?
Jak wygląda architektura Ubera? Link do oryginalnego "pejpera" ("Real-time data Infrastructure at Uber") znajdziecie w treści.

#devops

Mastering Shell Scripting
Czasem skrypt napisany w shellu może być wystarczający i nie trzeba pisać kodu w na przykład Pythonie. Mamy zmienne, mamy pętle, mamy funkcje - i jak tego wszystkiego użyć dowiesz się z tego tekstu

Understanding the Power of AWK
Skoro można pisać w shellu skrypty to może też można przetwarzać pliki w rodzaju na przykład CSV? Tak, z AKW jak najbardziej!

13 Docker Tricks You Didn’t Know
Co nie co o sztuczkach w budowaniu obrazów, które to sztuczki sprawią na przykład, iż obrazy są mniejsze

#flink

Real-time Twitch chat sentiment analysis with Apache Flink
Jak uważni czytelnicy newslettera prawdopodobnie widzą - Flink to w tej chwili najsensowniejsze rozwiązanie do przetwarzania danych "wprost na strumieniu". Zobaczmy więc jak może wyglądać użycie Flinka do analizy tekstu z czaru Twitcha. W prawdziwym real-time, wiadomo, to przecież Flink. No i przetwarzanie w batchach jest nudne ;-)

#management

How Uber increased developer productivity and what you can learn from that
Jak na przestrzeni kilku lat Uber zwiększył wydajność zespołów wytwórczych? Jakich mierników używano? Jakich narzędzi? Mięsem jest nagranie webinaru (około 45 minut).

#python

Full stack, modern web application template
Tak się dzisiaj pisze aplikacje: FastAPI, React, SQLModel, PostgreSQL, Docker, GitHub Actions. Fajne, przekrojowe repo.

Mastering the Art of Data: Python Code Snippets to Elevate Your Skills
Dziesiątki (jak nie "ze dwie setki") przykładów kodu w Pythonie do wszystkich zastosowań jakie przytrafią Ci się w pracy jako data inżynier, analityk danych czy data scientist. adekwatnie wiedząc to wszystko, rozumiejąc dlaczego i skąd, oraz kiedy użyć będziesz co najmniej seniorem w developerce. Po prostu jest tutaj wszystko, a jest tego bardzo dużo.

Dataclass vs. Attrs vs. Pydantic
Kiedy użyć którego z typów klas? Czym od siebie się różnią?

#r

A Case Study Using OpenAI’s GPT Models
Python i R razem, tym razem dodatkowo w połączeniu z API OpenAI

#wizualizacja_danych

How (Not) to Cheat with Data Visualizations
O tym jak pokazywać dane, z konkretnymi przykładami wprost z korporacyjnych prezentacji

#środowisko_pracy

Using GitHub Copilot in your IDE: Tips, tricks, and best practices
Jak efektywnie korzystać z GitHub Copilot? Wprost od twórców narzędzia

The easiest way to code with any LLM
Open source’owy autopilot dla VSCode i edytorów od JetBrains - nie chcesz, nie możesz, nie stać Cię na GitHub Copilota to może to rozwiązanie?


Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)

Idź do oryginalnego materiału