Beijing Qianxing Jietong Technology Co., Ltd'nin satış personeli çok profesyonel ve sabırlıdır. Hızlı bir şekilde teklif verebilirler. Ürünlerin kalitesi ve paketlemesi de çok iyi. İşbirliğimiz çok düzgün.
—— 《Festfing DV》LLC
Acilen intel CPU ve Toshiba SSD ararken, Pekin Qianxing Jietong Technology Co., Ltd'den Sandy bana çok yardım etti ve ihtiyacım olan ürünleri hızla aldı. Onu gerçekten takdir ediyorum.
—— kedi yavrusu
Beijing Qianxing Jietong Technology Co., Ltd'den Sandy, bir sunucu satın aldığımda bana yapılandırma hatalarını zamanında hatırlatabilen çok dikkatli bir satıcıdır. Mühendisler de oldukça profesyonel ve test sürecini hızla tamamlayabiliyorlar.
—— Strelkin Mihail Vladimiroviç
Beijing Qianxing Jietong ile çalışmaktan çok memnunuz. Ürün kalitesi mükemmel ve teslimat her zaman zamanında yapılıyor. Satış ekibi profesyonel, sabırlı ve tüm sorularımızda çok yardımcı oluyor. Destekleri için gerçekten minnettarız ve uzun vadeli bir ortaklık için sabırsızlanıyoruz. Şiddetle tavsiye edilir!
—— Ahmad Navid
MikroTik RB3011 zaten kullanılmıştı, ama çok iyi durumdaydı ve her şey mükemmel şekilde çalışıyor.Ve tüm endişelerim hızlıca ele alındı.- Çok güvenilir bir tedarikçi. - Çok tavsiye ederim.
—— Geran Colesio
Ben sohbet şimdi
şirket Haberler
Majestic Labs belleğe bağlı GPU sorununu çözmek istiyor
Startup Majestic Labs, LLM KV önbelleklemesinden kaynaklanan darboğazları, yapay zeka çıkarımının yüksek bant genişliğine sahip bellek bağımlılığını ortadan kaldırarak çözmeyi hedefliyor.
Prometheus sunucu tasarımı, pahalı GPU'ları, veri merkezi sınıfı ARM çekirdeklerini ve LLM'ler için optimize edilmiş RISC-V vektör ve tensör motorlarını entegre eden tek parça hibrit yongalar olan özel Ignite AI İşlem Birimleri (AIU'lar) ile değiştiriyor. Tüm AIU'lar, LPDDR6 DRAM üzerine kurulu tek bir paylaşımlı bellek havuzunda çalışır. Bir sunucu, 8-128 TB ayrılmış birleşik belleğe erişen 1 ila 12 AIU barındırır ve bu bellek 25,6 TB/s bant genişliği tavanına sahiptir.
Buna karşılık, 8 Blackwell GPU ile donatılmış bir NVIDIA DGX B300 yapay zeka sunucusu, yalnızca 2,3 TB HBM3e GPU belleği ve 4 TB'a kadar DDR5 sistem belleği ile birlikte 14,4 TB/s tepe düşük gecikmeli ara bağlantı bant genişliği sunar. Prometheus platformu, NVIDIA sisteminin GPU bellek kapasitesinin 50 katından ve bant genişliğinin 1,7 katından fazlasını sunar.
Majestic'in kurucu ortakları, GPU-HBM eşleşmesinin premium, yüksek maliyetli işlem gücünü ciddi şekilde kısıtlanmış bellek kapasitesiyle eşleştirdiğini savunuyor. Sınırlamalar, kısıtlı GPU yonga kenarı bağlantılarından, kısa ara katman kablo uzunluklarından ve HBM'yi 12 katmanın ötesine ölçeklendirmedeki pratik engellerden kaynaklanmaktadır.
GPU-HBM mimarisini bellek sınırlı bir çıkmaz olarak nitelendiriyorlar. Bunun yerine, firma, bir metreye kadar uzunluktaki minyatür bakır kablolarla bağlanan ölçeklenebilir özel Bellek Toplama Çipleri (MAC'ler) aracılığıyla büyük ölçüde genişletilmiş bellek havuzlarına bağlanan uygun maliyetli işlemciler öneriyor. MAC'ler, her bir çipletin çok sayıda DRAM yongasına hizmet ettiği yerleşik bellek yongalarının yanında yer alır.
Sunucunun birleşik bellek alanı tamamen kesintisiz ve tutarlı kalır. AIU'lar, MAC'lere bağlı bir ağ topolojisinde paylaşımlı bellek aracılığıyla iletişim kurar ve bu MAC'lerin toplam sayısı açıklanmamıştır.
Basit matematik, bellek ölçeğini gösteriyor: standart 2 GB LPDDR6 yongaları, 128 TB'lık bir Prometheus sunucusunun 64.000 adede kadar bireysel LPDDR6 yongası gerektirdiği anlamına gelir ve bu da birim başına onlarca, muhtemelen yüzlerce MAC çipleti gerektirir.
Standart bir 40U raf, her biri 12 AIU ile donatılmış dört adede kadar Prometheus sunucusunu barındırabilir. Tam raf 120 kW güç çeker ve soğuk plakalı sıvı soğutmaya dayanır. Majestic, bu tür bir rafın 25 NVIDIA NVL72 Vera Rubin rafının aynı yüksek hızlı belleğini, güç tüketiminin çok altında bir maliyetle sunduğunu iddia ediyor ve bu da büyük ölçekli yapay zeka iş yüklerini, büyük ölçekli altyapıyı karşılayamayan firmalar için erişilebilir kılıyor. Tasarımı, işlemci başına 1.000 kata kadar daha fazla bellek sunar.
Bellek darboğazlarını ortadan kaldırmak, ultra uzun bağlam pencerelerine sahip en son teknoloji devasa sınır modellerinin verimli bir şekilde barındırılmasını sağlar. Ajan yapay zekasını, akıl yürütmeyi, grafik sinir ağlarını, tablo modellerini, video üretimini ve gelişmekte olan yapay zeka mimarilerini optimize eder, raf başına 100 kata kadar daha fazla kullanıcıyı desteklerken güç tüketimini azaltır. Müşteriler, tek bir sunucuda çok daha düşük güç ve sermaye maliyetleriyle çoklu trilyon parametreli modeller, devasa bağlam pencereleri, ajan sistemleri ve MoE çerçeveleri çalıştırabilir.
Majestic, donanımının gelecek yıl piyasaya sürüldüğünde eşdeğer performanslı GPU sunucularından 10 ila 50 kat daha az maliyetli olacağını ve üstün güç verimliliği sunacağını öngörüyor. Prometheus sunucusu OCP standartlarına uygundur ve mevcut yapay zeka modellerinin sorunsuz bir şekilde geçirilmesi için PyTorch, vLLM ve OpenAI'nin Triton çıkarım çerçevelerini yerel olarak destekler.
Dipnot
Majestic Labs, 2023 yılında Tel Aviv'de üç eski Google ve Meta çip tasarımı, üretimi ve sevkiyatı deneyimli çalışanı tarafından kuruldu: CEO Ofer Shacham, Başkan Sha Rabii ve COO Masumi Reynders. Firma, Tel Aviv ve Los Angeles ofislerinde yaklaşık 40 personel istihdam ediyor ve 2025'in sonlarında 100 milyon dolarlık bir Seri A finansman turu sağladı. Üçüncü taraf hızlandırıcı IP'lerini lisanslar ve Ignite AIU'su için özel bir çekirdek geliştirir. Majestic, kurumsal, özel bulut ve büyük ölçekli hedef müşterilerden önemli ön siparişler bildiriyor.
Beijing Qianxing Jietong Technology Co., Ltd. Sandy Yang/Global Strateji Direktörü WhatsApp / WeChat: +86 13426366826 E-posta: yangyd@qianxingdata.com Web sitesi: www.qianxingdata.com/www.storagesserver.com İş Odak Noktası: BT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri 20 yılı aşkın BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla işbirliği yapıyoruz. “Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak” Güvenilir BT Ürün Hizmet Sağlayıcınız!