NetApp przejmie DataPelago, twórcę Nucleus Universal Data Processing Engine (UDPE), który przyspiesza heterogeniczne obliczenia dla analityki i generowanej AI.
Zbudowany na otwartym źródle Gluten, Velox i Substrait, Nucleus drastycznie przyspiesza Spark i Trino, aby dostarczyć wyjątkową wydajność kosztową.TableauZałożona w 2021 roku przez dyrektora generalnego Rajana Goyala i dyrektora generalnego Ananda Iyera, DataPelago wyszła z niewidoczności w październiku 2024 roku i zebrała ponad 75 milionów dolarów w sumie.w tym $47 mln 2024 finansowania round.
George Kurian, CEO NetApp, stwierdził, że zaawansowane sprzęt AI wymaga równie zdolnej infrastruktury danych, aby odblokować wartość danych przedsiębiorstwa.i przejęcie wzmacnia zdolność NetApp do dostarczania zwinnych procesów przetwarzania danych dla konkurencyjnej różnicowania.
Blog DataPelago zauważył, że Nucleus będzie natywnie osadzony w platformie danych NetApp, umożliwiając znacznie szersze przyjęcie przedsiębiorstw niż startup mógłby osiągnąć niezależnie.DataPelago zajęło czwarte miejsce w dziedzinie nauki o danych na liście najbardziej innowacyjnych firm świata Fast Company 2026.
W przeciwieństwie do tradycyjnych architektur, które przesyłają zestawy danych do zewnętrznych klastrów CPU / GPU, Nucleus uruchamia przyspieszone obliczenia bezpośrednio na poziomie pamięci masowej.5x szybsze projekcjePozycjonowany pomiędzy silnikami zapytania (Spark, Trino, Flink) i ramami Python (Ray, Dask), jego stół ma trzy modułowe warstwy:
1.DataApp: Pluggable integration module to inject acceleration into Spark, Trino i inne silniki.
2.DataOS: Orchestration layer dynamically mapping data tasks to mixed accelerators for scalable performance tuning.
3.DataVM: Custom virtual machine with domain-specific ISA, offering unified execution abstraction for CPUs, GPUs, FPGAs and custom silicon.. DataVM: Custom virtual machine with domain-specific ISA, offering unified execution abstraction for CPUs, GPUs, FPGAs and custom silicon
Korzystanie z przepływu
1.Data access via framework connectors: Deployed as Spark JAR plugins compatible with standard data connectors, supporting Parquet, ORC, Iceberg, Delta Lake, JSON and storage targets including S3, GCS,ADLS, HDFS i on - prem arrays. Acceleration rozszerza się na integracje pamięci masowej, zachowując native query semantics via standard engine I/ O layers.
2.Query planning and optimization: The host engine generates a physical plan; DataApp convert it to an intermediate representation via Gluten/Substrait. Planowanie i optymalizacja zapytania:An intelligent optimizer builds optimal data flow graphs and allocates CPU/GPU resources for DataOS/DataVM execution (Inteligentny optymalizator buduje optymalne grafy przepływu danych i alokuje zasoby CPU/GPU do realizacji systemu DataOS/DataVM).
3.Optymalizacje transferu danych między sprzętem: operacja fuzji i streaming Eliminate full intermediate materialization to cut I/O overhead.Zero-copy shared memory zmniejsza duplikację danych CPU-GPU, podczas gdy DataVMs ISA wykorzystuje LLVM, CUDA i ROCm do routingu zadań do optymalnego sprzętu poprzez kolumnowe przetwarzanie wektoryzowane.Te zmiany podnoszą wykorzystanie GPU do 80/90% poprzez minimalizowanie przesunięcia danych między domenami..
Nucleus działa on-prem i w większości chmur publicznych. Jego akcelerator Spark dostarcza 3×4x zysków przepustowych w porównaniu z Databricks Photon;to also integrates with Snowflake by accelerating open table format processing and upstream/downstream Spark/Trino pipelines feeding the warehouse. to also integrates with Snowflake by accelerating open table format processing and upstream/downstream Spark/Trino pipelines feeding the warehouse. to also integrates with Snowflake by accelerating open table format processing and upstream/downstream Spark/Trino pipelines feeding the warehouse. to also integrates with Snowflake by accelerating open table format processing and upstream/downstream Spark/Trino pipelines feeding the warehouseDataPelago twierdzi, że Nucleus obniża koszty infrastruktury nawet o 80% i dostarcza 10 razy szybsze osiągi niż tradycyjne rurociągi.,Eliminuje główne wąskie gardło spowalniające wdrażanie AI w przedsiębiorstwach, z bezpośrednimi wdrażaniami w dużych globalnych przedsiębiorstwach w różnych branżach.
Dyrektor generalny DataPelago, Rajan Goyal, powiedział, że podstawową misją firmy jest rozwiązywanie problemów związanych z przetwarzaniem danych, które hamują innowacje AI.Merging with NetApp łączy swoje przełomowe technologie przyspieszenia z rozległym portfelem infrastruktury danych NetAppPrzedsiębiorstwa zainwestowały znacznie w procesory graficzne i modele, ale cierpią na rozdrobnione silosy danych, które pozostawiają sprzęt niedostatecznie wykorzystany, a połączony stos usprawnia wielkoskalowe wdrażanie AI.
NetApp określa akwizycję jako przełomową aktualizację portfela, przynosząc procesory przyspieszone przez GPU bezpośrednio do przepływów pracy w magazynie, aby zapewnić prawdziwe zero-kopie aktywacji danych przedsiębiorstwa dla AI.Finanse transakcji pozostają nieujawnione; given Nucleus's enterprise traction, tight synergy with NetApp AIDE and rising agentic AI demand, the purchase valuation likely lands at a 4×5x multiple of DataPelago's total $75M funding; given Nucleus's enterprise traction, tight synergy with NetApp AIDE and rising agentic AI demand, the purchase valuation likely lands at a 4×5x multiple of DataPelago's total $75M funding; given Nucleus's enterprise traction, tight synergy with NetApp AIDE and rising agentic AI demand, the purchase valuation likely lands at a 4×5x multiple of DataPelago's total $75M funding.DataPelago będzie działać jako spółka zależna NetApp.
Kluczowa różnica: Nucleus vs KV Cache vs NetApp AIDE
1. Nucleus i KV Cache differentiation: Nucleus optymalizuje pre-inference ingestion, transformation i querying danych przed dotarciem do serwerów GPU.Nvidia KV Cache to in-GPU memory optimization active only post data arrival on GPU hardware to boost token generation efficiency.. Nucleus przyspiesza dostarczanie danych do obliczeń; KV Cache optymalizuje czas uruchamiania modelu po lądowaniu danych na przyspieszaczach.
2.NetApp AIDE vs Nucleus UDPE: AIDE is ONTAP/AFX-locked AI preprocessing for LLMs and agents, functioning as proprietary ETL with built-in vector database, metadata cataloging,RAG serving and Nvidia AI Enterprise integration (w tym NIM vectorization microservices). Nucleus jest niezależny od magazynowania i przyspiesza ogólne obciążenia Spark/Trino. Integracja Nucleusa z AIDE wzmocniłaby transformation, training, fine-tuning i inference pipelines,enabling accelerated lakehouse workloads directly on NetApp AFX storage - umożliwiając przyspieszone obciążenia w magazynie bezpośrednio na magazynie NetApp AFX; an end-to-end AIDE+Nucleus bundled solution is foreseeable.
Syam Nair, CPO NetApp, komentuje, że Nucleus dostarcza akcelerację zdefiniowaną przez oprogramowanie w pamięci masowej, umożliwiając zero-kopiowanie przygotowania danych, zarządzanie i aktywację AI w procesorach i procesorach graficznych.NetApp zarządza większą ilością danych o wielu środowiskach niż jakikolwiek konkurent, a następna fala konkurencyjności AI zależy od przetwarzania danych u źródła. Zespół inżynierów DataPelago przyspiesza ten strategiczny plan.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Skoncentruj się na biznesie:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami w celu dostarczania niezawodnych produktów i profesjonalnych usług.
Używanie technologii do budowy inteligentnego świata•Twój zaufany dostawca usług produktów ICT!
Twoja wiadomość musi mieć od 20 do 3000 znaków!
Polish
