hakkında şirket haberleri Inferra, Lightbits'in hafıza duvarı patlatıcısı.

Tam metni şu şekilde sıkıştırdım:%8 kelime sayısı, tüm temel gerçekleri, karşılaştırmaları, alıntıları ve teknik mantığı korudu ve tüm bağlantıları kaldırdı:

Lightbits'in Inferra yazılımı, KV önbellek işlemlerini hızlandırır, yapay zeka çıkarımının bellek duvarını kırar ve GPU kullanımını büyük ölçüde artırır. Yüksek performanslı blok depolama firması, GPU yüksek bant genişlikli belleğini (HBM) sanallaştırmak için Inferra'yı geliştirdi. Bir KV önbelleği, LLM çıkarımı sırasında önceden hesaplanmış dikkat anahtarlarını ve değerlerini depolayarak dizi verilerinin gereksiz yeniden hesaplanmasını önler ve üretken yapay zeka performansını artırır.

Standart KV önbelleğe alma, önbelleğe alınan verileri GPU HBM ile sınırlar. HBM doygunluğa ulaştığında, mevcut KV çiftleri yeni veriler için çıkarılır ve yeniden kullanım sonrasında zaman alıcı yeniden hesaplama gerektirir. Modern katmanlı KV önbelleğe alma, depolamayı sunucu DRAM'ine, yerel NVMe SSD'lere ve uzak ağa bağlı NVMe sürücülerine kadar genişletir. Daha yüksek katmanlar daha uzun erişim gecikmesine neden olsa da bu gecikme genellikle kapsamlı belirteç vektörlerinin yeniden hesaplanmasından daha kısadır.

Inferra, uzun bağlamlı KV önbellek ayak izlerinin genişletilmesinden kaynaklanan kritik bellek darboğazlarını giderir. Bulut ve kurumsal kullanıcıların, önbellek kapasitesini genişletmek için maliyetli GPU ve HBM donanım yükseltmelerine gerek kalmadan daha hızlı, daha ölçeklenebilir yapay zeka çıkarımı yapmalarına olanak tanır.

Lightbits Labs Kurucu Ortağı ve Yönetim Kurulu Başkanı Avigdor Willenz, 2026 yılında 117 milyar dolarlık yapay zeka çıkarım pazarının eski eğitim odaklı satıcıları yeniden tasarlamaya zorladığını belirtti. Eski depolama ve eğitim sistemlerinin, güncelliğini kaybetmiş iş yükü paradigmaları için tasarlandıkları için KV önbellek darboğazlarına karşı yeniden donatılamayacağını vurguladı. GPU çıkarım verimliliği için özel olarak tasarlanan Inferra, müşteri beta programlarındaki değeri doğruladı ve modern çıkarım sıkıntılı noktalarını çözmek için satıcının TCP üzerinden NVMe yeniliğini genişletti.

KV önbelleği için optimize edilmiş önceden getirme algoritmalarıyla desteklenen Inferra, yaklaşan KV önbellek verilerini GPU talebinden önce proaktif olarak yükler. Üç temel avantaj sunar: katı SLA uyumluluğuyla mevcut GPU donanımı üzerinde 16 kata kadar daha fazla eşzamanlı çıkarım oturumu (donanım yükseltmesi gerekmez); 100 kata kadar gecikme iyileştirmesi ve 10 milyon jetonlu bağlam pencereleri için destek, yeniden hesaplama yerine tahmine dayalı dikkat durumu önceden getirme yoluyla TTFT ve TPOT'u keser; ve paylaşılan çıkarım kümeleri için akıllı birleştirilmiş KV önbellek yönetimiyle güvenli kiracı izolasyonu.

Inferra, GPU belleğini çok katmanlı bellek ve depolamada sanallaştırarak, parçalanmış KV önbelleğe almayı kalıcı, akıllı bir veri katmanına dönüştürerek çıkarım ekonomisini yeniden tanımlıyor. Sunucuların x86 alt sistemlerine konuşlandırılan bu yazılım, KV önbellek bloğu etkinliğini izler ve bir Alt Doğrusal Seyrek Dikkat Önceden Getirme (SLSAP) motorundan yararlanır. Yerelliğe duyarlı karma oluşturma ve tarihsel dikkatin yeniden kullanım modellerini birleştirerek, çok dönüşlü sohbet ve RAG iş akışlarındaki en son belirteçler, semantik olarak benzer içerik ve yapısal modeller de dahil olmak üzere sıklıkla yeniden kullanılan KV bloklarını sıralar ve önceliklendirir. Sistem, hedeflenen blokları sunucu DRAM'inden veya harici SSD'lerden alır ve bunları RDMA aracılığıyla GPU HBM'ye önceden yükler.

OVH Ürün ve Teknolojiden Sorumlu Baş Sorumlusu Yaniv Fdida, Inferra'nın GPU kullanımında önemli kazanımlar sağladığını, ölçeklenebilir, uygun maliyetli yapay zeka aracısı ve RAG iş yükü altyapısı sağladığını doğruladı.

Kamuya açık karşılaştırma sonuçları ciddi performans artışlarını doğruluyor: Qwen 2,5-7B (410K bağlam) 102 kat (72,6s → 711ms) hızlanıyor; DeepSeek-R1-70B (141K bağlamı) 152 kat iyileştirme sağlar (70,8s → 465ms); Llama-4-Scout (10M bağlamı) 380 katlık bir sıçrama elde ediyor (1,5 saat → 13 saniye).

Donanımdan bağımsız ve tüm ana akım açık kaynak çıkarım çerçeveleriyle uyumlu olan Inferra, Dynamo, vLLM ve LMCache eklentilerini destekler. Benzersiz bir şekilde, bağlam uzunluğuna göre alt doğrusal TTFT ölçeklendirme sunarken, DDN, VAST Data ve WEKA gibi rakipler yalnızca doğrusal ölçeklendirme veya reaktif akış sunar. Lightbits, rakip satıcıların eşi benzeri olmayan bir kıyaslama olan ticari L40S GPU'lar üzerinde istikrarlı 10 milyon jetonlu bağlam çıkarımı gösterdi.

Lightbits Labs Yapay Zeka Ürün ve İş Kıdemli Başkan Yardımcısı Ramesh Chettuvetty, Inferra'nın anında TCO tasarrufu sağladığını, uzun bağlam çıkarım duraklamalarını ortadan kaldırdığını ve işletmelerin daha büyük modelleri ve daha uzun diyalog iş yüklerini daha düşük altyapı maliyetleriyle çalıştırmasını sağladığını belirtti. Kullanıcılar, Inferra'nın çıkarım maliyet optimizasyonu avantajlarını satıcının kamu verimliliği değerlendirme platformu aracılığıyla değerlendirebilir. Mart ayında ScaleFlux ile ortak bir demoda Inferra, hesaplamalı depolama SSD iş yüklerinde 100x ila 280x KV önbellek hızlandırması elde etti.

Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odağı:
BİT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimimizle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak”Güvenilir BİT Ürün Servis Sağlayıcınız!