NetApp, analitik ve jeneratif AI için heterojen hesaplamayı hızlandıran Nucleus Universal Data Processing Engine'in (UDPE) yaratıcısı DataPelago'yu satın alacak.
Açık kaynaklı Gluten, Velox ve Substrait üzerine inşa edilen Nucleus, Spark ve Trino'yu önemli ölçüde hızlandırarak olağanüstü maliyet performansı sunar.Tablo2021 yılında CEO Rajan Goyal ve CPO Anand Iyer tarafından kurulan DataPelago, Ekim 2024'te gizlilikten çıktı ve toplam 75 milyon dolardan fazla topladı.47 milyon dolarlık 2024 finansman turu dahil..
NetApp CEO'su George Kurian, AI donanımının ilerlemesinin, kurumsal veri değerini açmak için eşit derecede yetenekli bir veri altyapısı gerektirdiğini belirtti.ve satın alma, rekabetçi farklılık için çevik veri işleme sunma yeteneğini güçlendirir.
Bir DataPelago blogu, Nucleus'un NetApp'in veri platformuna yerleşik olarak gömüleceğini, bu da başlangıçın bağımsız olarak başarabileceğinden çok daha geniş bir kurumsal kabulü sağlayacağını belirtti.DataPelago, Fast Company'nin 2026 Dünya'nın En Yenilikçi Şirketleri listesinde Data Biliminde dördüncü sırada yer aldı.
Geleneksel mimarilerden farklı olarak, veri kümelerini harici CPU / GPU kümelerine taşıyan Nucleus, hızlandırılmış hesaplamayı doğrudan depolama katmanında çalıştırır.5 kat daha hızlı projeksiyonlar, 10.1 kat daha hızlı filtreler ve 4.3 kat daha hızlı toplamalar. Sorgu motorları (Spark, Trino, Flink) ve Python çerçeveleri (Ray, Dask) arasında yer alan yığını üç modüler katmana sahiptir:
1.DataApp: Spark, Trino ve diğer motorlara hızlandırma enjekte etmek için takılabilir entegrasyon modülü.
2.DataOS: Ölçeklenebilir performans ayarlaması için karma hızlandırıcılara veri görevlerini dinamik olarak haritalandıran orkestrasyon katmanı.
3.DataVM: Alan özel ISA'sı olan özel sanal makine, CPU'lar, GPU'lar, FPGA'lar ve özel silikon için birleşik yürütme soyutlaması sunar.
Temel Veri Yürütme Akışı
1Çerçeve bağlantıları üzerinden veri erişimi: Standart veri bağlantıları ile uyumlu Spark JAR eklentileri olarak dağıtıldı, Parquet, ORC, Iceberg, Delta Lake, JSON ve S3, GCS dahil olmak üzere depolama hedeflerini destekliyor,Hızlandırma, standart motor I / O katmanları üzerinden yerel sorgu anlamını korurken depolama entegrasyonlarına kadar uzanır.
2Sorgu planlaması ve optimizasyonu: Ev sahibi motor fiziksel bir plan oluşturur; DataApp onu Gluten / Substrait aracılığıyla ara bir temsilye dönüştürür.Akıllı bir optimizer, optimal veri akışı grafikleri oluşturur ve DataOS/DataVM çalıştırılması için CPU/GPU kaynaklarını tahsis eder.
3Donanım arası veri transferi optimizasyonları: Operatör / çekirdek füzyonu ve akış yürütümü, I / O genel masraflarını azaltmak için tam ara materyalleşmeyi ortadan kaldırır.Sıfır kopya paylaşılan bellek, CPU-GPU veri çoğaltmasını azaltır, DataVM'in ISA'sı ise LLVM, CUDA ve ROCm'yi sütun vektörlü işleme aracılığıyla görevleri optimal donanıma yönlendirmek için kullanır.Bu ayarlamalar, alanlar arası veri karıştırılmasını en aza indirerek GPU kullanımını %80-%90'a çıkarıyor..
Nucleus, yerel olarak ve büyük kamu bulutlarında çalışır. Spark hızlandırıcısı, Databricks Photon'a karşı 3x4x işlem artışı sağlar;Ayrıca açık masa biçimi işleme ve depoyu besleyen yukarı/aşağı Spark/Trino boru hatlarını hızlandırarak Snowflake ile de bütünleşir.DataPelago, Nucleus'un altyapı maliyetlerini %80'e kadar düşürdüğünü ve eski boru hatlarından 10 kat daha hızlı performans sağladığını belirtiyor.,Kurumsal yapay zeka dağıtımını yavaşlatan ana engelli ortadan kaldırıyor ve dikey sektörlerdeki büyük küresel işletmelerde canlı dağıtımlar yapılıyor.
DataPelago CEO'su Rajan Goyal, şirketin temel misyonunun AI yeniliğini engelleyen veri işleme sıkışıklıklarını çözmek olduğunu söyledi.NetApp ile birleşmek, çığır açan hızlandırma teknolojisini NetApp'ın geniş veri altyapısı portföyü ile eşleştirir.Şirketler GPU'lara ve modellere büyük miktarda yatırım yaptılar, ancak donanım az kullanılmış hale getiren parçalanmış veri silosundan muzdaripler ve birleşik yığın büyük ölçekli AI dağıtımını kolaylaştırır.
NetApp, satın alımı, sanal zeka için gerçek sıfır kopya kurumsal veri etkinleştirmesini sağlamak için GPU hızlandırılmış işlemeyi doğrudan depolama iş akışlarına getiren önemli bir portföy yükseltmesi olarak çerçeveliyor.İşlemin finansal bilgileri açıklanmadı.Nucleus'un kurumsal çekiciliği, NetApp AIDE ile sıkı sinerji ve artmakta olan ajantik AI talebi göz önüne alındığında, satın alma değerlendirmesi muhtemelen DataPelago'nun toplam 75 milyon dolarlık finansmanının 4×5 katına düşecek.DataPelago, NetApp'in tamamen sahip olduğu bir yan kuruluş olarak çalışacak..
Ana ayrım: Nucleus vs. KV Cache vs. NetApp AIDE
1.Nucleus ve KV Kache farklılaştırması: Nucleus, verilerin GPU sunucularına ulaşmadan önce inferans öncesi veri alımını, dönüşümünü ve sorgulamasını optimize eder.Nvidia'nın KV Cache, GPU donanımına gelen verilerin sadece GPU'daki bellek optimizasyonunu etkinleştirerek token üretimi verimliliğini artırır.. Nükleer, verilerin hesaplamaya teslim edilmesini hızlandırır; KV Cache, verilerin hızlandırıcılara ulaşmasından sonra model çalıştırma süresini optimize eder.
2.NetApp AIDE vs Nucleus UDPE: AIDE, LLM'ler ve ajanlar için ONTAP/AFX kilitli AI ön işleme, yerleşik vektör veritabanı, metadata kataloglama,RAG servisi ve Nvidia AI Enterprise entegrasyonu (NIM vektörleştirme mikro hizmetleri dahil). Nucleus depolama-agnostiktir ve genel Spark/Trino iş yüklerini hızlandırır. AIDE ile Nucleus'u bütünleştirmek dönüşüm, eğitim, ince ayarlama ve çıkarım boru hatlarını güçlendirir.NetApp AFX depolamasında doğrudan hızlandırılmış göl ev iş yüklerini etkinleştirmek; AIDE+Nucleus'un uçtan uca bir paket çözümü öngörülebilir.
NetApp CPO'su Syam Nair, Nucleus'un depolama alanında yazılım tanımlı bir ivme sağladığını ve CPU ve GPU'larda sıfır kopya veri hazırlamasını, yönetimini ve AI etkinleştirmesini sağladığını belirtti.NetApp, rakiplerinden daha fazla kurumsal çoklu ortam verisini yönetir., ve AI rekabet gücünün bir sonraki dalgası kaynağındaki verilerin işlenmesine bağlıdır.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
İş odaklı:
İKT Ürün dağıtım/Sistem entegrasyonu ve hizmetler/altyapı çözümleri
20+ yıllık BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık kuruyoruz.
Akıllı bir dünya inşa etmek için teknolojiyi kullanmak güvenilir İKT ürün hizmet sağlayıcınız!
Mesajınız 20-3.000 karakter arasında olmalıdır!
Turkish
