Yapay zekâ'nın benimsenmesi şu anda yüksek belirteç harcamaları ve Yapay Zeka istekleri için ön fiyatlandırma açıklığının olmaması nedeniyle engelleniyor ve bu da kontrolsüz belirteç aşırı harcamalarına neden oluyor.Bu risk, yapay zeka ajanları tarafından büyük ölçüde artıyor., şu anda yerleşik token maliyet kısıtlamaları olmadan çalışan ve aşırı maliyet patlamaları tetikleyebilir.
Bu makale, yapay zeka jetonlarının ne olduğunu, jeton fiyatlandırmasının nasıl çalıştığını ve felaketli jeton harcamalarını önlemek için uygulanabilir stratejileri açıklıyor.İyi belgelenmiş bir kurumsal durum, bir organizasyonun 500 dolar kazanmasını sağladı.,000Ayrı olarak, Uber'in mühendislik ekibinin 2026 yapay zeka bütçesinin tamamını zamanlamadan önce tükettiği bildirildi.Tokenler, büyük dil modelleri (LLM) ve sohbet botlarının insan dili isteklerini parçalamak ve tutarlı AI çıkışları üretmek için kullandıkları temel birimlerdir..
Örneğin, giriş ipucu Bana çökeltme hakkında bilgi ver ayrık belirteç bileşenlerine ayrılmıştır:
-Söyle.
- Ben.
- Yaklaşık
-atık
-eğlence
Tek kelime için bu beş belirteçli ayrım, LLM'lerin kelime yapısını ve anlamını doğru bir şekilde yorumlamasına yardımcı olur.Kökü sediment ve sonek ation bölünmesi, modelin birçok isimde sonek nin tutarlı kullanımını tanımasına olanak tanırBu yaklaşım, modelin veri tabanındaki arama kapsamını daraltır.Her bir sonek içeren kelimeyi teker teker taramak yerine işlem süresini azaltmak.
Çekirdek veri birimleri olarak, belirteçler vektör gömülmelerine dönüştürülür.model, çok boyutlu özelliklerini temsil etmek için birden fazla vektör oluşturur.Bu benzersiz vektör kümeleri cat'ı cansız nesnelerden, köpekler ve kaplanlar gibi diğer hayvan türlerinden,ve sentetik kedi oyuncakları.
Terim için varsayımsal beş boyutlu vektör gömülmesi, [1.] olarak ifade edilebilir.5-0.47.219.6, 20.2).
Tüm vektör verileri birleşik bir vektör uzayında bulunur ve modeller vektör noktaları arasındaki mekansal yakınlığı ölçerek anlamsal olarak benzer içeriği tanımlamayı sağlar.
Vektörlere dönüştürüldükten sonra, belirteçler yüksek bant genişliği belleği ile donatılmış yüksek maliyetli GPU sunucularında işlenir.NVIDIA DGX SuperPOD 32 düğüm ve 256 toplam GPU ile 12 milyon dolar ile 20 milyon dolar arasında maliyetlidirDaha gelişmiş bir referans mimarisi, 140 DGX H100 düğümü, Quantum-2 InfiniBand ağ, tam depolama ve ağ altyapısı ve destekleyici sistemlerle 100 milyon doları aştı.Bu önemli altyapı maliyetleri, ana akım temel modellerinin belirti fiyatlandırma sistemlerinde doğrudan yansıtılır..
OpenAI ve Anthropic de dahil olmak üzere önde gelen LLM ve chatbot sağlayıcıları, metin içeriği için öngörülebilir token dönüşüm kuralları ile token tabanlı fatura modellerini benimsiyorlar.Bir İngiliz simgesi yaklaşık dört karakter veya 0'a eşittir..75 kelime, yani 750 kelime yaklaşık 1.000 jetona karşılık gelir. Özellikle, hem giriş istekleri hem de üretilen çıkış yanıtları jeton tüketir. Örneğin, 750 kelimelik bir giriş istek 2 ile eşleştirilmiştir.,000 kelimelik yapay zeka çıkışı toplamda yaklaşık 3.667 jeton tüketir.
Daha yüksek belirteç tüketimi, AI yanıt gecikmesini doğrudan uzatır. Tek bir anında yanıtlama oturumundan gelen tüm belirteçler sonlu kapasiteli bir bağlam penceresinde bulunur.000-token bağlam penceresi yaklaşık 75300 sayfalık bir kitaba eşdeğer.
Yetersiz bağlam penceresi kapasitesi, LLM'lerin bağlamsal bilgileri kaybetmelerine neden olur ve bu da eksik veya yanlış AI çıkışlarına yol açar.GPT-4o 128'ye kadar destekler.,000 jeton, Claude 3.5 Sonnet 200.000 jetona ulaşır ve seçilmiş Gemini 1.5 Pro kurumsal kullanıcılar 2 milyon jetonluk bir bağlam penceresine erişebilirler.
Token fiyatlandırması model satıcılar arasında değişir.
Intuition Labs'e göre, OpenAI'nin ChatGPT API'si saf bir token tabanlı fatura yapısı üzerinde çalışır. Her model giriş belirteçleri ve çıkış belirteçleri için sabit birim fiyatlarını ayrı ayrı belirler,Çıkış belirteçleri genellikle daha pahalı. Fiyatlar ayrıca önbelleğe alınan yanıt durumuna göre değişir. Her API çağrısı iki farklı ücret alır: biri anında giriş belirteçleri ve biri AI tarafından oluşturulan çıkış belirteçleri için. Pratik bir örnek olarak,100 giriş belirteci ve 400 çıkış belirteci için milyon çıkış belirteci başına 10 $ fiyatlandırılan bir model kullanmak, giriş maliyetlerini 10 × 100/1,000,000) ve 10 × 400/1,000, 000), toplam harcama iki rakamın toplamına eşittir.
Şirketler, kullanıcı başına veya koltuk başına kotalar, kullanıma dayalı trafik kısıtlaması, proje başına harcama limitleri,ve model katman kısıtlamalarıBu yönetim alanı hızla gelişiyor, çünkü AI satıcıları hizmet kalitesini optimize etmek, gelir akışlarını dengelemek ve açık kaynaklı AI modelleriyle rekabet etmek için rekabet ediyorlar.
Yapay zekâ ajanları, tamamen yeni bir token maliyet riski katmanı sunuyor. Sıkı operasyonel koruma çubukları olmadan, otonom ajanlar büyük, planlanmamış token tüketimini tetikleyebilir.Endüstri uzmanları, yapay zeka ajanlarına dijital çalışanlar gibi davranmayı öneriyor, maliyet felaketlerinin önlenmesi için FinOps ekipleri sıkı, saat boyunca harcama izlemesini uyguluyor.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
İş odaklı:
İKT Ürün dağıtım/Sistem entegrasyonu ve hizmetler/altyapı çözümleri
20+ yıllık BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık kuruyoruz.
Akıllı bir dünya inşa etmek için teknolojiyi kullanmak güvenilir İKT ürün hizmet sağlayıcınız!
Mesajınız 20-3.000 karakter arasında olmalıdır!
Turkish
