Turkish
IBM, depolama katmanının içine doğrudan AI veri işlemini yerleştiren bir içerik bilinçli depolama (CAS) mimarisi tanıttı.Bu yaklaşım, geri alım-artırılmış üretim (RAG) iş akışları için uyarlanmıştır., doküman vektörleşmesini depolama sisteminin içine entegre ettiği için, dış ön işleme boru hatlarına olan ihtiyacı azaltır.
CAS, büyük dil modeli (LLM) tabanlı yöntemler yoluyla önemli bir RAG fonksiyonunu depolama altyapısına aktarır.Bu, işletmelerin mevcut konumunda verileri işleme almasına ve indekslemesine izin verir., depolama sistemlerini Yapay Zeka ile yönetilen iş yükleriyle uyumlu hale getirmek ve farklı altyapı katmanları arasında veri hareketini en aza indirmek.IBM bunu, AI uygulamaları için performansı artırırken ve veri yerelliğini artırırken dağıtımı basitleştirmek için bir araç olarak konumlandırıyor..
Ölçekte Vektör Veritabanı
IBM'in CAS uygulamasının merkezinde anlamsal arama için optimize edilmiş bir vektör veritabanı bulunmaktadır.Yapay zeka sistemlerinin, kosinüs benzerliği veya L2 mesafe gibi benzerlik ölçümlerine dayanarak ilgili veri parçalarını almasını sağlayanBu yetenek, kullanıcı sorgularının vektörlere dönüştürüldüğü ve bağlamdan haberdar yanıtlar sunmak için endekslenmiş kurumsal verilerle eşleştirildiği RAG için temeldir.
IBM CAS Grafiği: IBM
IBM Research, Samsung ve NVIDIA ile işbirliği içinde, tek bir sunucuda 100 milyar vektöre kadar ölçeklendirilebilen bir prototip sistemi sergiledi.Sistem yüzde 90'dan fazla geri çağırma ve hassasiyet elde etti.Bu ölçek, veri kümelerinin milyarlarca dosyayı kapsayabildiği ve bir kez tam olarak indekslendiğinde,Yüz milyarlarca vektöre kadar büyüyebilir..
RAG boru hattı entegrasyonu
RAG, model yeniden eğitimine gerek kalmadan çıkış doğruluğunu arttırdığı için kurumsal AI için tercih edilen bir yaklaşım haline geliyor.Bir vektör veritabanından alınan kurumsal özel verilerle istekleri tamamlayarak çalışır..
Boru hattı, PDF'ler ve sunumlar gibi belgelerin ayrıştırıldığı, parçalara ayrıldığı ve gömülmeye dönüştürüldüğü veri alımıyla başlar.Bu yerleştirmeler verileri verimli benzerlik araması için düzenleyen bir vektör veritabanında depolanırSorgu sırasında, kullanıcı girişi gömülü ve depolanan vektörlerle eşleştirilir ve ilgili içerik bağlam olarak dil modeline aktarılır.Bu topraklama mekanizması halüsinasyonları azaltır ve yapay zeka ürettiği sonuçlara güvenini arttırır..
IBM'in CAS, tüm bu boru hattını doğrudan depolamaya entegre ederek, içme, indeksleme ve verilerin yakınında geri alımını birleştirir.
Ölçek ve Maliyet Zorluklarının Çözümü
Kurumsal depolama sistemleri zaten petabayt ölçeğinde çalışmaktadır. CAS'e genişletildiğinde, her dosya yüzlerce vektör üretebilir ve veri kümesi boyutunu hızla genişletebilir.Geleneksel vektör veritabanları genellikle birden fazla sunucu üzerinde ölçeklendirilir, ek maliyetler ve operasyonel karmaşıklık getirir. Büyük veri kümelerinin indekslenmesi ve yeniden indekslenmesi de zaman alıcı görevler haline gelir.
IBM'nin yaklaşımı, altyapı yayılmasını sınırlamak için vektör yoğunluğunu iyileştirmeye ve endeksleme başlığını azaltmaya odaklanır.depolama ve hesaplama kaynaklarının bağımsız ölçeklendirilmesini sağlamakBu, IBM Storage Scale ve yüksek performanslı paralel dosya sistemi sayesinde mümkündür.
Depolama ve donanım mimarisi
CAS uygulaması, AI ve yüksek performanslı iş yükleri için tasarlanmış tamamen flash bir platform olan IBM Depolama Ölçeği Sistemi 6000'i (ESS 6000) kullanıyor.Sistem, 4U kabın başına 48'e kadar NVMe sürücüsünü destekler, 7 TB'den 60 TB'ye kadar değişen bireysel sürücü kapasiteleri ile. PCIe Gen5, 400 Gb InfiniBand veya 200 Gb Ethernet bağlantısını entegre eder,düğüm başına 340 GB/s okuma ve 175 GB/s yazma verimi sağlayan, 7 milyon IOPS'ye kadar.
Platform ayrıca depolama ve GPU'lar arasındaki doğrudan veri yollarını kolaylaştıran NVIDIA GPUDirect Storage'i ve ağ ve veri işleme görevlerini boşaltmak için BlueField-3 DPU'larını destekler.
Samsung PM9D3a PCIe Gen5 NVMe SSD'leri yüksek verimli, yüksek yoğunluklu depolama sağlar.12 GB/s'ye kadar sıralı okuma hızı ve 6'ya kadar yazma hızı ileTicari olarak mevcut kurumsal SSD'lerin kullanımı, mimarinin standart bileşenler kullanarak ölçeklenmesini sağlar.
Hiyerarşik İndeksleme ve GPU Hızlandırması
Ölçekte endekslemeyle başa çıkmak için, IBM bağımsız olarak optimize edilebilen birden fazla alt endeksten oluşan hiyerarşik bir indeksleme modeli geliştirdi.Bu yapı, tüm veri kümesini bozmadan artan güncellemeleri ve yerelleştirilmiş yeniden indekslemeyi sağlar, hem kullanılabilirliği hem de operasyonel verimliliği artırıyor.
GPU hızlandırması, yalnızca CPU yaklaşımlarına kıyasla indeksleme süresini önemli ölçüde azaltır.100 milyar vektör için indeks oluşturmak 6 NVIDIA H200 GPU ile 4 gün sürdü., çift soketli bir CPU sisteminde tahmin edilen 120 güne kıyasla.
Vektörler ve indeksler dahil olmak üzere tüm veri kümesi yaklaşık 153 TiB depolama alanı tüketti.Sonuçta elde edilen sistem, %90 hatırlama ile 694ms ortalama sorgu gecikmesi sağladı., kaba kuvvet temel gerçek hesaplamalarına karşı doğrulanmıştır.
Yol Haritası
IBM ve NVIDIA, indeksleme ve sorgu gecikmesini azaltmaya odaklanarak platformu optimize etmeye devam ediyor.Verilerin alınma süresini dokuz günden bir güne düşürmek, ve sorgu gecikmesini yüzde 90'lık hatırlamayı korurken 50-100 milisaniye aralığına düşürür.
Standart dosya sistemlerine vektör indekslemeyi entegre etmek, dağıtımını basitleştirmeyi ve kurumsal AI'nin benimsenmesine engel olan engelleri azaltmayı amaçlıyor.IBM, AI destekli altyapının temel katmanı olarak CAS'i konumlandırıyor.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
İş odaklı:
İKT Ürün dağıtım/Sistem entegrasyonu ve hizmetler/altyapı çözümleri
20+ yıllık BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık kuruyoruz.
Akıllı bir dünya inşa etmek için teknolojiyi kullanmak güvenilir İKT ürün hizmet sağlayıcınız!
Sandy Yang, Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
İş odaklı:
İKT Ürün dağıtım/Sistem entegrasyonu ve hizmetler/altyapı çözümleri
20+ yıllık BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık kuruyoruz.
Akıllı bir dünya inşa etmek için teknolojiyi kullanmak güvenilir İKT ürün hizmet sağlayıcınız!