Firma Databricks ujednoliciła przetwarzanie analityczne i transakcyjne w Lakehouse, dodając możliwości zapytań na dużą skalę w czasie rzeczywistym i marketingu agentowego. Aktualizacje ogłoszono podczas szczytu Data + AI w San Francisco, który zgromadził na miejscu ponad 30 000 uczestników.
Nowa architektura LTAP (Lake Transactional/Analytical Processing) ujednolica OLAP i OLTP poprzez współdzieloną warstwę pamięci. Integruje bezserwerowe Lakebase i Lakehouse oparte na Postgres w ramach jednego ujednoliconego zarządzania, jednego źródła prawdy i współdzielonego magazynu danych operacyjnych, analitycznych i strumieniowych.
W odróżnieniu od narzędzi do unifikacji OLAP/OLTP warstwy obliczeniowej, LTAP łączy dane w warstwie przechowywania. Sprawia, że dane operacyjne są natychmiast gotowe do analizy, bez dodatkowych potoków, wspierając niezależne, w pełni izolowane skalowanie obciążeń transakcyjnych i analitycznych przy zerowej utracie wydajności. Zbudowany w oparciu o otwarte standardy, współpracuje ze wszystkimi aplikacjami kompatybilnymi z Postgres i czytnikami tabel Delta/Iceberg.
„Złożona infrastruktura danych od dawna stanowiła obciążenie biznesowe. Agenci sztucznej inteligencji szybko zwiększyli potencjał siły roboczej przedsiębiorstwa, jednak starsze systemy stały się głównym wąskim gardłem – LTAP rozwiązuje to wyzwanie” – powiedział współzałożyciel i dyrektor generalny Databricks Ali Ghodsi.
LTAP jest zbudowany na platformie Lakebase, która przenosi transakcje Postgres do magazynu obiektów Lakehouse. Oddzielenie pamięci obliczeniowej od pamięci drastycznie obniża koszty jednoczesnego uruchamiania ogromnych aplikacji i agentów AI. Uruchomiona w zeszłym roku platforma Lakebase obsługuje tysiące klientów, w tym Block, Zillow i Superhuman, obsługując 12 milionów uruchomień baz danych dziennie.
Wcześniej Lakebase i Lakehouse utrzymywały oddzielne kopie i formaty danych pomimo współdzielonej pamięci. LTAP eliminuje zbędne powielanie, przechowując wszystkie dane w katalogu Unity w standardowych otwartych formatach Lakehouse. Ujednolicone reguły tożsamości, uprawnień i audytu zapewniają spójne zarządzanie, umożliwiając agentom AI działanie na jednym zaufanym źródle danych.
Obciążenia transakcyjne zachowują pełną zgodność z Postgres ACID, podczas gdy obciążenia analityczne działają w nieograniczonej skali i współbieżności. Zero ruchu danych gwarantuje spójne wyniki operacyjne i analityczne bez konieczności stosowania ETL. Lakebase dodaje trzy kluczowe aktualizacje: odzyskiwanie po awarii w wielu chmurach/regionach, rozgałęzianie/migawki w stylu Git do bezpiecznego testowania produkcyjnego oraz autonomiczne operacje na bazach danych oparte na sztucznej inteligencji do monitorowania, optymalizacji i odzyskiwania.
Firma Databricks uruchomiła Lakehouse//RT, Lakehouse pracujący w czasie rzeczywistym, napędzany nowym silnikiem obliczeniowym Reyden. Zapewnia opóźnienie na poziomie milisekundowym dla masowych jednoczesnych użytkowników i agentów AI, działając natywnie na zarządzanych tabelach Delta Lake i Iceberg w ramach Unity Catalog. Eliminuje oddzielne uprawnienia, zastrzeżone formaty i potoki synchronizacji, eliminując koszty samodzielnych warstw obsługi w czasie rzeczywistym.
„Od dziesięciu lat ujednolicamy podstawowe obciążenia danymi w otwartej infrastrukturze. Lakehouse//RT uzupełnia stos, dostarczając warstwę o niskim opóźnieniu, krytyczną dla nowoczesnych agentów analitycznych i sztucznej inteligencji, udowadniając, że Lakehouses przoduje również pod względem obciążeń w czasie rzeczywistym” – dodał Ghodsi.
Lakehouse//RT osiąga opóźnienie 10 ms dla małych zestawów danych i opóźnienie poniżej 100 ms dla danych na dużą skalę. Testy porównawcze wykazują opóźnienie poniżej 100 ms przy 12 000 QPS, przy czym obciążenia klientów zyskują nawet 16-krotnie większą wydajność w porównaniu z tradycyjnymi systemami obsługi w czasie rzeczywistym.
Databricks zadebiutował także CustomerLake, natywnym agentem CDP z siedzibą w Lakehouse. Zgodnie z definicją CDPI, CDP ujednolicają wieloźródłowe dane klientów w ujednolicone profile. CustomerLake konsoliduje dane ze stron internetowych, aplikacji, systemów CRM i POS, zastępując jednorazowe kampanie marketingowe ciągłymi „kampaniami nieskończoności” prowadzonymi przez agentów, aby zapewnić klientom spersonalizowane doświadczenia w czasie rzeczywistym na miliardową skalę.
Wyposażony w dedykowanych agentów kampanii i profili, otwarty ekosystem partnerów i natywny odwrotny ETL, ujednolica i aktywuje dane klientów we wszystkich stosach martech. Jest to drugi, po Lakewatch, pionowy produkt korporacyjny firmy Databricks, w którym zamiast tradycyjnego licencjonowania oprogramowania zastosowano model konsumpcji oparty na wartości.
Dostępność: Lakehouse//RT jest w fazie beta; LTAP zostanie wkrótce uruchomiony jako funkcja Lakebase; CustomerLake jest dostępny w prywatnej wersji zapoznawczej z wczesnymi użytkownikami, takimi jak HP, Circle K, AB InBev i Santander's Getnet. Warto zauważyć, że firma Zilliz, zajmująca się bazami danych wektorowych, inaczej stosuje termin „Lakebase” w odniesieniu do swojej bazy Milvus Vector Lakebase.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storageserver.com
Koncentracja biznesowa:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami, aby dostarczać niezawodne produkty i profesjonalne usługi.
„Wykorzystanie technologii do budowy inteligentnego świata”Twój zaufany dostawca usług produktów ICT!
Twoja wiadomość musi mieć od 20 do 3000 znaków!
Polish
