Dane zawsze były uważane za klejnoty koronne organizacji, ale ze względu na eksplozję źródeł danych, zrozumienie ustrukturyzowanych i nieustrukturyzowanych informacji zawartych w różnych sklepach danych przedsiębiorstwa jest coraz bardziej złożonym zadaniem. Łączenie wszystkiego, aby zapewnić jednorodny pogląd na działalność gospodarczą Może wydawać się projektem, który nigdy się nie skończy, dlatego teraz istnieje zainteresowanie inżynierią danych.
Według analityka Gartnera, Inżynierowie danych Odgrywać kluczową rolę w umożliwieniu organizacji odblokowania wartości danych. Obejmuje to projektowanie i budowanie systemów do gromadzenia, przechowywania, transformacji, operacjonalizacji i dostarczania danych na skalę. Firma analityka twierdzi, iż inżynieria danych wymaga współpracy między firmą a jej, aby zapewnić odpowiednie dane i dostępne dla różnych użytkowników danych – takich jak naukowcy danych lub analitycy danych – we adekwatnym czasie.
Gartner Niezbędne umiejętności dla inżynierów danych, aby odnieść sukces Raport identyfikuje szereg umiejętności wymaganych w inżynierii danych. Autorzy raportu Mayank Talwar, Zain Khan i Shubhankar Nandi opisują Ustructud Query Language (SQL) Jako wszechobecne na szerokiej gamie narzędzi i platform, co czyni go krytyczną i rozszerzalną umiejętnością. Jako przykład wszechobecności SQL, Zauważają, iż DBTNarzędzie do transformacji danych umożliwia inżynierom danych transformację danych w swoich magazynach poprzez po prostu pisząc wybierz instrukcje SQL.
Druga umiejętność podstawowa zidentyfikowana w raporcie jest przetwarzanie danychktóry jest opisany jako „podstawowa umiejętność, którą musi posiadać każdy inżynier danych”. Wynika to z faktu, iż dane w jego surowym formacie zwykle nie są przydatne w analizie. Przetwarzanie danych obejmuje przetwarzanie partii i w czasie rzeczywistym; Storage obejmuje technologie, takie jak jeziora danych, hurtowni danych, bazy danych wykresów i dokumentów oraz sklepy obiektowe. Wspólne języki programowania używane przez zespoły inżynierii danych to Python, Java i Scala.
Inne podstawowe umiejętności wymienione przez Gartnera obejmują przechowywanie danych, orkiestrację danych, programowanie i współpracę. W odniesieniu do orkiestracji danych analitycy zauważają, iż rurociągi inżynierii danych powoli przechodzą od narzędzi, które obsługują architektury oparte na zadaniach, takie jak Apache Airflow i Luigi, w kierunku narzędzi oferujących podejście oparte na danych, takie jak Dagster, Flyte z Lyft i Reflow.
Gartner zaleca liderom priorytetowo opracowanie podstawowych umiejętności inżynierii danych, ponieważ są one szeroko stosowane, mocno wykorzystywane i udowodniono, iż zapewniają znaczące korzyści.
Prostsze podejście?
Istnieje przypadek oceny prostszego podejścia do osiągnięcia celu, jakim jest dostarczenie terminowych danych przedsiębiorstwa firmie w formacie, z których użytkownicy mogą skorzystać z planowania i analizy. To tutaj dostawcy tradycyjnych Planowanie zasobów przedsiębiorstwa (ERP) Systemy widzą okazję do zbudowania firmy wokół potrzeby posiadania organizacji, aby mieć jedną wersję prawdy. Z perspektywy ERP ta pojedyncza wersja prawdy znajduje się w systemach rekordów, które składają się na system ERP.
Na przykład SAP dostarcza cały system systemów i aplikacji jako ofertę skoncentrowaną na chmurze na zasadzie subskrypcji, wraz z wydobywaniem procesów i innymi narzędziami, a także obsługą, konserwacją i innymi usługami.
Dale Vile, współzałożyciel firmy analitycznej Freeform Dynamics, Zauważa, iż platforma technologii biznesowej SAP (BTP) można uznać za integralną część oferty chmury dostawcy. BTP jest zasadniczo platformą jako usługa (PAA), która pozwala klientom rozszerzyć aplikacje SAP i/lub tworzyć niestandardowe aplikacje.
„W przypadku niektórych klientów tego rodzaju wszechstronna usługa jest naprawdę atrakcyjna, ponieważ oznacza, iż nie muszą już martwić się operacjami na poziomie systemowym, monitorowaniem, bezpieczeństwem i tak dalej”, mówi Vile. „Wiele rzeczy, które sprawia, iż krajobrazy SAP są tak trudne do uruchomienia i zmiany w czasie, jest zadbane po podpisaniu umowy”.
Umowa skutecznie łączy organizację z SAP. Chociaż istnieje przypadek elastyczności, dla niektórych organizacji o wiele ważniejsze jest posiadanie jednej wersji prawdy i posiadanie wszystkich danych w jednym miejscu. Tak jest w irlandzkiej firmie produkcyjnej Waterwipes, jak wyjaśnia menedżer danych Liz Cotter.
Możesz mieć zaawansowaną automatyzację analityki, ale jeżeli Twoje dane główne nie są dokładne, twoje dane transakcyjne są bezwartościowe
Wcześniej, mówi, oprogramowanie jako systemy usług (SaaS) znajdowały się obok SAP i „mogło być zintegrowane z SAP, ale nie były w pełni zharmonizowane”. Innymi słowy, organizacja wybrała najlepsze produkty SaaS w celu wspierania niektórych procesów biznesowych, takich jak zasoby ludzkie lub obsługa klienta. Cotter twierdzi, iż oznaczało to, iż SAP nie był systemem rekordów dla niektórych nowszych zestawów danych wykorzystywanych przez firmę.
Mówi SAP DataSphere Umożliwia firmie uruchamianie standardowej platformy jako system rekordów danych transakcyjnych, który zapewnia główną kopię danych organizacji. „Uważam, iż SAP zmieniła się i oferuje więcej narzędzi, aby nadążyć za zapotrzebowaniem na wzbogacone dane”, mówi.
Cotter dołączył do Waterwipes w styczniu 2024 r. Z MESIT w celu wprowadzenia zarządzania danymi i zarządzaniem danymi. Mówi, iż firma nie wykorzystała najlepszego wykorzystania dostępnych danych, które można wykorzystać do uzyskania informacji i pomocy w dostosowaniu się do strategicznych kluczowych wskaźników wydajności (KPI).
„Kiedy oceniliśmy naszą dojrzałość danych, nie było zarządzania danymi i bezpieczeństwa danych. Potrzebowaliśmy narzędzia, które pomoże gwałtownie ograniczyć to ryzyko – mówi.
Jak zauważa Cotter, udane inicjatywy biznesowe oparte na IT wymagają solidnego fundamentu danych. „Możesz mieć zaawansowaną automatyzację analityki, ale jeżeli Twoje dane główne nie są dokładne, twoje dane transakcyjne są bezwartościowe”, mówi. Dla Cottera nie ma sensu inwestować w nową technologię, chyba iż dane są tak dokładne, jak to możliwe.
https://www.youtube.com/embed/eeu5ezaihig
Firma rozpoczęła współpracę z Bluestonex nad wdrożeniem Maxtro Master Data Management narzędzia. Jest to opracowywane na SAP BTP i zapewnia zarządzanie danymi i zarządzanie danymi dla WaterWipes.
„Zasadniczo jest to aplikacja do zarządzania danymi, przepływami pracy i raportowaniem danych”, mówi Cotter.
Unika to programistów SAP, którzy musieli prowadzić zapytania bezpośrednio w systemie S/4HANA firmy. Pod względem dojrzałości danych Cotter mówi: „Nie będziemy dojść do poziomu ekspertów, ale chcemy dostosować się do naszej strategii 2027, co jest bardzo ambitne pod względem sprzedaży i rozwoju klientów”.
Podejście etapowe obejmowało najpierw budowę zarządzania danymi i zarządzaniem danymi, przed inwestowaniem w technologię.
Wspieranie sztucznej inteligencji
Biorąc pod uwagę trend, aby zrobić więcej ze sztuczną inteligencją (AI), analitycy Gartner wzywają liderów IT do zapewnienia, iż inżynierowie danych rozpoznają potrzebę samodzielnego wzrostu. Według Gartnera to upskilling jest wymagany, jeżeli inżynierowie danych chcą wziąć udział Budowanie warstwy podkładu danych dla firm, które zdecydowały się przeszkolili modele językowe na swoich danych przedsiębiorstwa.
„Z Genai’s [generative artificial intelligence] apetyt na szkolenie danych wykładniczo rosnące, inżynierowie danych mogą odgrywać kluczową rolę w tworzeniu platform danych i rurociągów, które mogą dostarczać wysokiej jakości dane wymagane do szkolenia tych modeli ”, analitycy zauważają w Niezbędne umiejętności dla inżynierów danych, aby odnieść sukces raport.
Gartner przewiduje, iż firmy zaczną budować mniejsze, bardziej wyrafinowane i sprawdzone biznesowe modele językowe-w przeciwieństwie do dużych modeli językowych-w celu większej kontroli kosztów, prywatności, ryzyka i dokładności. Gartner uważa, iż inżynierowie danych będą musieli dowiedzieć się, jak pracować z nieustrukturyzowanymi danymi i tworzyć repozytoria danych, aby umożliwić budowę tych modeli.
Idealnie, liderzy IT mieliby czas i zasoby na opracowanie praktyki inżynierii danych, ale jest to mało prawdopodobne. Doświadczenie Cottera w Waterwipes pokazuje, iż choćby te organizacje, które są przez cały czas dość wcześnie w podróży do zarządzania danymi, aby stosunkowo gwałtownie osiągnąć wartość biznesową. Jednym zastrzeżeniem jest to, iż może to obejmować powiązanie z określonym zestawem produktów, takim jak system ERP.
