Wygląda na to, iż popularność baz danych w chmurze, czyli tych dostarczanych za pośrednictwem modelu konsumpcji w chmurze, rośnie.
Do którego odnosi się dbPaaS (platforma baz danych jako usługa) według analityka Gartnera rynek baz danych w chmurze jest zdominowany przez dostawców chmury publicznej. Amazon Web Services (AWS), Microsoft, Google, Oracle i Alibaba to liderzy wskazani przez firmę analityczną w jej Magiczny kwadrant dla systemów zarządzania bazami danych w chmurze, opublikowano w grudniu 2023 r. Mówiąc ogólnie, dostawcy ci oferują szereg możliwości zarządzania danymi. Inni liderzy wskazani przez Gartnera to MongoDB, który specjalizuje się w technologii baz danych nierelacyjnych, oraz Snowflake i Databricks, które koncentrują się na magazynach danych i jeziorach danych.
Według raportu Gartnera z sierpnia 2023 r. Analiza prognoz: Systemy zarządzania bazami danych na całym świecie, rynek dla systemy zarządzania bazami danych (DBMS) ma rosnąć ze złożoną roczną stopą wzrostu na poziomie 16,8% do 2027 r., aby osiągnąć 203,6 mld USD, co będzie stanowić 27% całkowitych wydatków na rynku systemu infrastrukturalnego w 2027 r. Prognoza pokazuje, iż odsetek wydatków na chmurowe dbPaaS wzrośnie z 55% całkowitego rynku DBMS w 2022 r. do 73,5% do 2027 r.
Według Gartnera, przejście zakupu systemu DBMS – przejście ze starszych, scentralizowanych grup IT do zdecentralizowanych linii biznesowych w ramach przedsiębiorstwa – napędza ten wzrost wydatków na DBMS. Tradycyjnie, w przypadku scentralizowanych usług IT, różne obszary firmy dzieliły DBMS. Gartner zauważa, iż teraz mają swobodę wyboru swojego DBMS na podstawie kryteriów własnej jednostki, a następnie budowania własnych baz danych zamiast korzystania ze współdzielonych systemów.
Jednak wiceprezes i główny analityk Forrester Noel Yuhanna ostrzega, iż niektóre bazy danych w chmurze są zbudowane na zastrzeżonej technologii, co utrudnia migrację do innych baz danych. Brakuje również widoczności kosztów. „Bez monitorowania i zarządzania nadmierne wykorzystanie infrastruktury może prowadzić do nieoczekiwanych kosztów” — mówi. Yuhanna zaleca decydentom IT rozważenie możliwości dostosowywania baz danych w chmurze w porównaniu z bazami danych lokalnymi, ponieważ niektóre z nich narzucają ograniczenia dostosowywania.
Podejście hybrydowe
Są przypadki, w których decydenci IT będą szukać opcji odgrodzenia swojej publicznej platformy bazy danych w chmurze w określonym regionie. Jednak będą wyraźnie przypadki użycia, w których – być może w celu przestrzegania regionalnych przepisów dotyczących danych i prywatności – magazyny danych i bazy danych będą musiały zostać wdrożone lokalnie.
Dostawcy infrastruktury hiperkonwergentnej, tacy jak Nutanix, oferują na przykład usługi baz danych rozliczane według wykorzystania, które zapewniają decydentom IT narzędzia automatyzacji do zarządzania bazami danych i możliwość wdrażania w różnych obszarach. środowiska hybrydowe ITw tym chmury publiczne i prywatne.
Niektóre przypadki użycia wymagają połączenia baz danych lokalnych i publicznych w chmurze. Na przykład MongoDB niedawno udostępniło w wersji zapoznawczej swój serwer Atlas Edge Server, który daje programistom możliwość wdrażania i obsługi rozproszonych aplikacji w chmurze i na brzegu. Serwer Atlas Edge Server zapewnia lokalną instancję MongoDB z serwerem synchronizacji, który działa na lokalnej lub zdalnej infrastrukturze. Według MongoDB znacznie zmniejsza to złożoność i ryzyko związane z zarządzaniem aplikacjami w środowiskach brzegowych.
Integracja danych
Jednym z terminów często używanych przy analizie architektury danych przedsiębiorstwa jest potok danych. Zespoły odpowiedzialne za dane muszą zapewnić sposób pobierania danych z korporacyjnych systemów informatycznych, które mogą znajdować się w silosach, w tym baz danych i aplikacji przedsiębiorstwa. Ten proces pobierania danych często obejmuje złożone i delikatne łączniki danych, które czasami mogą zawodzić, co prowadzi do zakłóceń operacyjnych.
Przykładem tego, co oferują dostawcy dbPaaS, jest Niedawno wprowadzone przez Databricks narzędzie LakeFlowktóry automatyzuje wdrażanie, obsługę i monitorowanie potoków na dużą skalę w środowisku produkcyjnym, ze wbudowaną obsługą ciągłej integracji/dostarczania (CI/CD) i zaawansowanych przepływów pracy obsługujących wyzwalanie, rozgałęzianie i warunkowe wykonywanie.
Część LakeFlow odpowiedzialna za łączność danych, zwana Connect, obsługuje bazy danych MySQL, Postgres, SQL Server i Oracle, a także aplikacje korporacyjne, takie jak Salesforce, Dynamics, SharePoint, Workday i NetSuite.
Komponent ekstrakcji, tłumaczenia i ładowania (ETL) narzędzia LakeFlow firmy Databricks oferuje, jak twierdzi firma, tryb czasu rzeczywistego do przesyłania strumieniowego o niskim opóźnieniu bez żadnych zmian w kodzie. Ostatnia część narzędzia oferuje zautomatyzowaną orkiestrację, stan danych i dostarczanie. Według Databricks zapewnia ulepszone możliwości kontroli przepływu i pełną obserwowalność, aby pomóc w wykrywaniu, diagnozowaniu i łagodzeniu problemów z danymi w celu zwiększenia niezawodności potoku.
Interoperacyjność
Z samej swojej natury dbPaaS jest wdrażany na platformie chmury publicznej, co oznacza, iż nabywcy rozwiązań IT ryzykują uzależnienie od rozwiązań wybranych przez dostawcę chmury publicznej.
Ostatnie ogłoszenie firmy Snowflake o udostępnieniu kodu źródłowego Polaris Catalog jest próbą zapewnienia większej interoperacyjności platformy z formatem tabel Apache Iceberg.
Pierwotnie opracowany przez NetflixIceberg jest opisywany jako format tabeli dla dużych, wolno poruszających się danych tabelarycznych. Dostarcza metadanych opisujących tabele bazy danych. Jedną z korzyści jest to, iż oferuje standardowy sposób dla przedsiębiorstw do uruchamiania analiz w wielu jeziorach danych.
W jego coroczna konferencja użytkowników w czerwcu 2024 r., Snowflake poinformował, iż rozwiązanie to zapewni przedsiębiorstwom i całej społeczności Iceberg nowy poziom wyboru, elastyczności i kontroli nad danymi, przy jednoczesnym zapewnieniu pełnego bezpieczeństwa przedsiębiorstwa i interoperacyjności Apache Iceberg z takimi platformami jak AWS, Confluent, Dremio, Google Cloud, Microsoft Azure i Salesforce.
W tamtym czasie Christian Kleinerman, wiceprezes ds. produktów w Snowflake, powiedział: „Organizacje chcą otwartego przechowywania i interoperacyjnych silników zapytań bez blokady. Teraz, dzięki wsparciu liderów branży, jeszcze bardziej upraszczamy sposób, w jaki każda organizacja może łatwo uzyskać dostęp do swoich danych w różnych systemach, zwiększając elastyczność i kontrolę”.
Celem Snowflake jest zapewnienie społeczności Apache Iceberg sposobu na wykorzystanie ich danych poprzez otwarte i neutralne podejście, które według Kleinermana umożliwia „interoperacyjność między silnikami w zakresie tych danych”.
Jakość danych
Kluczowym obszarem, który może powstrzymywać projekty IT przedsiębiorstw, jest jakość danych. W niedawnym wpisie na blogu, Stephen Catanzano, starszy analityk platform danych w Enterprise Strategy Grouppowołuje się na badania przeprowadzone przez firmę analityczną, które pokazują, iż 79% organizacji dostrzega potrzebę wykorzystania sztucznej inteligencji (AI) w procesach o znaczeniu krytycznym, aby zwiększyć swoją konkurencyjność, ale 62% interesariuszy z poszczególnych linii biznesowych ufa danym swojej organizacji tylko w pewnym stopniu.
„Ta dysproporcja między potrzebą AI a zaufaniem do danych musi zostać gwałtownie zniwelowana. Odkryliśmy, iż większość organizacji jest mocno skoncentrowana na jakości danych jako części zarządzania danymi, aby zyskać zaufanie i dostarczać dane gotowe do podejmowania decyzji pracownikom posiadającym uprawnienia decyzyjne” — pisze Catanzano.
Blog omawia produkt Informatica Cloud Data Access Management (CDAM), który według Catanzano stanowi ścieżkę do pomagania organizacjom w osiąganiu ich celów w zakresie jakości danych i zarządzania nimi. „Ponieważ dane stają się coraz bardziej najważniejsze w napędzaniu wyników biznesowych, dla organizacji stało się konieczne posiadanie solidnych mechanizmów zarządzania” – pisze.
Gdy ogłoszono wprowadzenie CDAM, Brett Roscoe, starszy wiceprezes i dyrektor generalny ds. zarządzania danymi w firmie Informatica, napisał na blogu, iż produkt ten zapewnia zarządzanie danymi oparte na sztucznej inteligencji, co umożliwia organizacjom wdrażanie analiz i sztucznej inteligencji przy użyciu zautomatyzowanych, opartych na zasadach kontroli bezpieczeństwa i prywatności, które opierają się na analizie metadanych.
Przygotowanie gruntu pod sztuczną inteligencję
Zakładając, iż prognoza Gartnera jest uczciwym wskazaniem kierunku, w którym zmierza rynek baz danych, wydaje się, iż centralna kontrola IT nad bazami danych przedsiębiorstw jest zastępowana przez każdą jednostkę biznesową wybierającą najbardziej odpowiednią bazę danych, aby spełnić swoje specyficzne wymagania. Fakt, iż bazy danych w chmurze są zwykle łatwiejsze do wdrożenia i potencjalnie oferują niższy całkowity koszt posiadania, czyni je atrakcyjnymi dla nabywców IT.
Jak zauważa Yuhanna z Forrester, oferują one również liderom IT sposób na usprawnienie operacji IT i szybszy sposób wdrażania aplikacji bazodanowych. Dodaje: „Istnieje istotna korelacja między przyjęciem opartego na chmurze systemu DBMS a tempem przyjęcia sztucznej inteligencji”.
