Zilliz, açık kaynak vektör veritabanı olan Milvus v3.0'ı kullanıma sunarak göle özgü veri erişimi ve üretimdeki yapay zeka geliştiricileri için yükseltilmiş bir alma motoru ekledi.
Lake-yerel mimarisi, ham verileri bağımsız veritabanlarına kopyalamak yerine bulut nesne depolama alanında açık formatlarda tutar. Zilliz, Vector Lakebase konseptini Haziran ayındaki genel ön izlemede açıklamıştı; CEO Charles Xie, bunu veri kopyaları, geçiş veya paralel depolama yığınları olmadan gerçek zamanlı sorgulara, veri araştırmalarına ve çok petabaytlık yapay zeka eğitim hatlarına olanak tanıyan birleşik bir veri temeli olarak tanımladı. Birleşik nesne depolama katmanı, aynı kaynak dosyalar üzerinde hem düşük gecikmeli çevrimiçi vektör aramayı hem de büyük ölçekli analitiği destekler.
Zilliz Kurucu Ortağı ve CTO James Luan şu yorumu yaptı: "Milvus 3.0, üretim alımını doğrudan mevcut veri depolarının üzerinde çalıştırıyor ve modern yapay zeka iş yükleri için daha güçlü bir motor sunuyor. Aynı çekirdek, büyük ölçekli yapay zeka veri yönetimi için elastik ölçeklendirme, basitleştirilmiş işlemler ve kurumsal düzeyde araçlarla geliştirilmiş Zilliz Vector Lakebase'e de güç veriyor."
Vektör veritabanları, benzerlik aramasını güçlendirmek için metin, görseller ve diğer içeriklere yönelik sayısal vektör yerleştirmelerini saklar. Zilliz, Milvus'un dünyanın en yaygın kullanılan açık kaynaklı vektör veritabanı olduğunu, RAG, öneri motorları ve yapay zeka aracıları için 10.000'den fazla firma tarafından benimsendiğini ve 100 milyondan fazla Docker çekme işleminin kaydedildiğini belirtiyor.
Geleneksel yapay zeka işlem hatları, gerçek zamanlı erişim ve çevrimdışı analiz için ayrı veri kopyaları bulundurur; bu da ekstra depolama maliyetleri, uzun veri aktarımları, senkronizasyon işlem hatları ve ağır operasyonel ek yük getirir.
Core Milvus 3.0 Yetenekleri
1.Harici Koleksiyonlar: Lance, Iceberg, Parquet veya Vortex'teki göl dosyaları üzerinde Milvus koleksiyonları oluşturun. Sistem, kaynak veriler üzerinde çoğaltmadan vektör, tam metin, JSON ve skaler dizinler oluşturur ve bunları standart yerel API'ler aracılığıyla kullanıma sunar. Artımlı senkronizasyon, göl verileri değiştikçe dizinleri otomatik olarak günceller.
2. Loon Depolama Motoru: Varsayılan sütunlu format olarak açık Arrow uyumlu Vortex'i kullanan, düşük gecikmeli nesne depolama aramaları için yeni bir bildirim tabanlı motor kesme okuma amplifikasyonu.
3. Belirli Bir Noktada Anlık Görüntüler: Hafif salt okunur koleksiyon anlık görüntüleri, çevrimdışı veri tekilleştirme, değerlendirme ve doğrulama işlerinin üretim yazma işlemlerini kesintiye uğratmadan kararlı veri kümeleri üzerinde çalıştırılmasına olanak tanır.
4.Spark Konektörü ve Toplu Operatörler: Spark DataSource V2 konektörü, tekilleştirme ve kümeleme için yerel vektör toplu iş işlevlerinin yanı sıra Milvus'u Spark, Databricks ve EMR toplu iş akışlarıyla bütünleştirir.
Standart Top-K vektör araması, mesafe hesaplamasıyla yalnızca en benzer vektörleri getirir ve yüksek vektör sayıları ve boyutları nedeniyle zayıf ölçeklendirmeden zarar görür. Milvus 3.0, erişimi temel en yakın komşu aramasının çok ötesine taşıyor:
1.Sunucu tarafı sıralama, toplama ve yönlü arama, semantik benzerliği meta veri filtreleriyle (zaman damgası, fiyat, kategori, kiracı vb.) birleştirerek istemci tarafında sonradan işlemeyi ortadan kaldırır.
2.StructList çoklu vektör alımı, birden fazla yerleştirmeye (belge parçaları, görüntü yamaları, çok modlu ürün verileri) sahip varlıkları destekler ve ColBERT ve ColPali gibi geç etkileşim modelleriyle çalışır.
3. Optimize edilmiş seyrek dizin, SINDI öğrenilmiş seyrek vektörler, yerleşik MinHash, null olabilen vektör alanları, özel tam metin sözlükleri ve daha geniş Faiss dizini uyumluluğu ile eşleştirilen orijinal geri çağırma performansıyla eşleşirken depolama alanını ~%70 oranında azaltır.
Luan, üretimdeki yapay zeka iş yüklerinin veritabanı içinde yerel olarak sıralama, gruplandırma ve çok vektörlü arama gerektirdiğini ve v3.0'ın, daha zengin motor içi işlemenin yanı sıra hızlı nesne depolama erişimi sağlamak için yeniden işlenmiş depolamayı gerektirdiğini ekledi.
Bu birleşik çekirdek, hem kendi kendine barındırılan açık kaynaklı Milvus'a hem de tam olarak yönetilen Zilliz Cloud'a güç sağlar. Zilliz Cloud, temel motoru, tek bir yapay zeka veri kaynağı üzerinde elastik bilgi işlem, keşif araçları, toplu analiz, birleştirilmiş indeksleme, kurumsal yönetişim ve otomasyon ile eksiksiz bir Vector Lakebase'e genişletiyor.
Endüstri Rekabetçi Bağlamı
Güncelleme, hepsi arama gecikmesini azaltmak için yarışan rakipler Pinecone, Qdrant ve Weaviate üzerindeki baskıyı artırıyor: Qdrant, Nisan ayında daha hızlı indekslemeyi, yüksek kullanılabilirliğe sahip kümeleri ve uyumluluk denetim günlüklerini başlattı; Pinecone, aracı iş akışlarını hızlandırmak için Mayıs ayında önceden hesaplanmış vektör kümelerini ve şekillendirilebilir alıcıları kullanıma sundu.
Saf vektör veritabanı satıcıları Regatta, SingleStore ve SurrealDB gibi çok modelli platformlarla rekabet ediyor. Databricks ve Snowflake gibi göl evleriyle entegre olurken, daha derin veritabanları arası ortaklıklar mimari ve depolama motoru engelleriyle karşı karşıya kalıyor. Piyasada vektör oynatıcılarının zamanla yerel yapılandırılmış, grafik, belge veya zaman serisi desteği eklediğini görebiliriz.
Kullanılabilirlik
Milvus 3.0, Apache 2.0 lisansı altında, hava boşluklu ortamlar da dahil olmak üzere Docker veya Kubernetes aracılığıyla dağıtılabilen, S3, GCS ve Azure Blob nesne depolama uyumluluğuna sahip, LF Yapay Zeka ve Veri dereceli bir proje olmaya devam ediyor. İlk SDK kapsamı Python, Go ve Node.js'yi içermektedir ve yakında Java desteği de sunulacaktır. Kaynak kodu, sürüm notları ve hızlı başlangıç kılavuzları, geliştirici desteği için topluluk çalışma saatlerinin yanı sıra GitHub'da barındırılmaktadır.
Yönetilen Zilliz Bulutu, Milvus 3.0'ı temel indeksleme katmanı olarak dahil ederek, tek bir paylaşılan veri kopyasında kurumsal esneklik, güvenlik ve birleşik operasyonlar ekler.
Dipnot
Harici Koleksiyonlar, veri geçişi olmadan sıfır kopya lake indekslemeyi uygular; Loon, düşük gecikmeli vektör sorguları için daha önce nesne depolamayı sınırlayan okuma amplifikasyonu darboğazını çözüyor.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odağı:
BİT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimimizle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak”Güvenilir BİT Ürün Servis Sağlayıcınız!
Mesajınız 20-3.000 karakter arasında olmalıdır!
Turkish
