hakkında şirket haberleri Lightbits ve ScaleFlux, KV Önbelleği hızlandırmasında 100x ila 280x gösterdi

"Yalnızca önemli olan verileri önceden getirerek ve ihtiyaç duyulmadan önce yüksek hızlı RDMA üzerinden GPU'lara teslim ederek, geleneksel olarak uzun bağlam performansını sınırlayan duraklamaları ortadan kaldırıyoruz. Sonuç, daha düşük İlk Token'a Kadar Süre (TTFT), gerçek dünya yükü altında daha kararlı verim ve önemli ölçüde daha yüksek etkili GPU kullanımıdır."

ScaleFlux'ta Çözüm Mimarisi ve Teknik Ortaklıklar Kıdemli Direktörü Keith McKay, şunları yorumladı: "GTC'de gösterdiğimiz şey, daha akıllı veri yerleşimi ve kalıcı dikkat durumu yönetiminin, bağlam pencereleri büyüdükçe çıkarım sistemlerinin duyarlı kalmasına nasıl yardımcı olabileceğinin erken bir bakışıdır. Bu, gerçek operatörlerle birlikte şekillendirmek istediğimiz bir işbirliğidir."

Hem Lightbits hem de ScaleFlux, bulut ve altyapı operatörlerini yazılımlarını ve SSD'lerini benimsemeye teşvik etmeyi, maliyetli GPU boşta kalma süresini ortadan kaldırmayı hedefliyor.

Önce ScaleFlux'un katkısını inceleyelim, ardından daha gelişmiş Lightbits yazılım katmanına geçelim.

ScaleFlux, donanım tabanlı Yazma Azaltma Teknolojisi (WRT) ile donatılmış NVMe SSD'ler ve Hesaplamalı Depolama Sürücüleri (CSD'ler) sağlar. Donanım hızlandırmalı sıkıştırma ve SoC güdümlü meta veri yönetimi ile desteklenen bu sürücüler, fiziksel depolamadan dört kata kadar daha fazla mantıksal kapasite sunarken, ana bilgisayar sistemleri için tamamen şeffaf kalır. Şirket, yapay zeka veri altyapısını yoğun, düşük gecikmeli, güç verimli sistemlerle yeniden tanımlamak için çalışan ve geleneksel dosya tabanlı yapay zeka depolamasının 10 katı yoğunluk ve yalnızca onda biri güç tüketimi sunan Open Flash Platform (OFP) konsorsiyumunun bir üyesidir.

Bu depolama sürücülerinin üzerine inşa eden Lightbits, GPU'ların ihtiyaç duymasından önce KV Önbellek verilerinin akıllı önceden getirilmesini ekleyerek, yetersiz KV kapasitesi veya maliyetli token vektör yeniden hesaplamasından kaynaklanan duraklamaları önler. LightInferra yazılımı, gerekli verileri gerçek talepten önce RDMA hızlarında GPU belleğine çekmek için KV Önbelleği optimize edilmiş önbelleğe alma algoritmalarını kullanır.

Yazılım, GPU sunucularına gömülü x86 ana bilgisayarında çalışır ve KV Önbellek veri bloklarının erişim modellerini izler. Bu telemetriyi kullanarak, bir sonraki en olası ihtiyaç duyulacak KV bloklarını belirlemek için bir Alt-Doğrusal Seyrek Dikkat Ön Getirme (SLSAP) motoru çalıştırır.

Bu motor, yerelliğe duyarlı karma (LSH) ile istatistiksel yeniden kullanım modellemesini birleştirir - dikkat hesaplamalarındaki geçmiş erişim yerelliğini analiz eder - KV bloklarını puanlar ve önceliklendirir, ardından GPU'lar tarafından istenme olasılığı en yüksek olanları seçer.

Bu seçim süreci, GPU veri erişimindeki doğal seyreklikten yararlanır: çoğu token yalnızca önceki tokenların küçük bir alt kümesiyle anlamlı bir şekilde ilişkilidir. Bu yüksek olasılıklı blokları izole ederek, çözüm GPU'lara geri akıtılması gereken token vektörlerinin hacmini önemli ölçüde azaltır.

İkinci bir algoritma, yeniden kullanım modellerine odaklanır: son tokenlar, anlamsal olarak benzer tokenlar ve RAG veya çok turlu sohbet senaryolarında yaygın olan yapısal desenler sık sık yeniden kullanılır ve buna göre önceliklendirilir.

LightInferra, bu token bloklarını önce x86 sunucusunun DRAM'inden veya gerekirse harici ScaleFlux SSD'lerinden alır, ardından RDMA bağlantıları aracılığıyla GPU'nun HBM'sine önceden yükler.

Lightbits, bu yaklaşımı büyük dil modeli iş yüklerini kullanarak önbelleğe alınmış içeriği sıfırdan yeniden hesaplamaya karşı karşılaştırdı ve İlk Token'a Kadar Süre (TTFT) iyileştirmelerini ölçtü. Bildirilen 100 ila 280 kat hızlandırma rakamları doğrudan bu test sonuçlarından elde edilmiştir.

Elbette, Lightbits-ScaleFlux KV Önbellek hızlandırma

şemasını DDN, Hammerspace, VAST Data, WEKA ve diğerlerinin KV Önbellek hızlandırıcılarıyla karşılaştıran kıyaslama sonuçlarını görmek isteriz, ancak bunlar

mevcut değil.

LightInferra-ScaleFlux'un model boyutu arttıkça önbellek yeniden oluşturma TTFT üzerinde giderek iyileştiğini gösteren grafikler var. Örneğin;

Tüm ilgili kıyaslama verileri, öncelikli olarak bilgisayar bilimi profesyonelleri için uyarlanmış log-ölçekli grafiklerde sunulmaktadır, ancak basit dil, gerçek dünya etkisini kavramayı çok daha kolay hale getirir: "Sonuç, bağlam 100 bin token'dan 1 milyona ve ötesine ölçeklenirken sürdürülen İlk Token'a Kadar Süre (TTFT) performansıdır."