Alman startup SereneDB'nin Krummelanke'si, arama ve analitiği tek bir üründe birleştirerek dünyanın en hızlı veritabanı arama motoru olduğu iddia ediliyor.
Şirket, yapay zeka ajanlarının saniyede yüzlerce hibrit bulma ve sayma sorgusu ateşlediğini, ancak üretimdeki her veritabanının insan kullanıcılar için oluşturulduğunu belirtiyor. Krummelanke motoru, yüksek hızlı ajan ölçekli veritabanı aramalarını işlemek üzere tasarlanmıştır. Krummelanke, Apache 2.0 lisansı altında açık kaynaklıdır, Postgres ve Elastic ile uyumludur ve S3'te depolanan veriler üzerinde tam metin araması yapabilir.
Kurucu Ortak ve CEO Alexander Malandin şunları söyledi: “Ajan odaklı gelecek, her şeyden önce bir veri yükü sorunudur. Bugün bir yapay zeka ajanı, tek bir çiçeği ziyaret eden tek bir arıdır. Gelen şey ise sürüdür: her organizasyondaki çalışanlardan daha fazla ajan, her biri saniyede yüzlerce sorgu ateşliyor. İnsan kullanıcılar için inşa edilmiş altyapı, bu yüke dayanacak kadar hızlı veya maliyet açısından verimli değil. Ajan odaklı gelecek, yeni nesil bir veritabanı gerektirir: tek bir motorda ultra hızlı arama ve ultra hızlı analiz, burada arama işlemleri nanosaniyelerle ölçülür ve milyarlarca kayıt üzerindeki bir soru milisaniyeler içinde geri döner. Ajanları birinci sınıf kullanıcılar olarak gören, ölçeklerine dayanan ve veriye nerede olursa olsun ulaşan bir veritabanı. İşte biz de bunu inşa ettik ve SereneDB Krummelanke ile üretime alıyoruz.”
SereneDB, Snowflake, BigQuery, DuckDB over Parquet ve lakehouse gibi analitik motorların varsayılan olarak S3'ten sütun bazlı verileri doğrudan okuduğunu belirtiyor. Büyük sıralı taramalar, tam metin aramalarının aksine nesne depolamanın gecikme profiline uyar. Tam metin araması, kelimeler veya sayılar gibi içerik öğelerini listeleyen ve bunları tablolardaki veya belgelerdeki konumlarına eşleyen ters dizin gerektirir. Ters dizin araması birçok rastgele erişim üretir. Tipik olarak, Lucene tabanlı arama motorları, ana lakehouse veri deposundan ayrı olarak hızlı yerel depolama üzerinde dizinler depolar. SereneDB, bir Elastic dağıtımı içindeki “aranabilir” verilerin, mevcut en pahalı depolama katmanı olan flash üzerinde ikinci bir kopyayı korumak anlamına geldiğini söylüyor.
SereneDB'nin aramasının Cloudian HyperStore araması gibi genel nesne depolama veri aramalarından nasıl farklı olduğunu sorduk.
CTO Andrey Abramov bize şunları söyledi: “Cloudian, S3 uyumlu bir depolama satıcısıdır ve HyperSearch, bucket'a bağlı bir hizmettir. Depolanan nesnelerin meta verilerini toplar ve bu meta verileri altta yatan bir arama bileşenine indeksler; bu, veri kopyalama yoluyla doldurulan ayrı bir indeksleme sistemidir. Birçok hizmet aramayı bu şekilde uygular ve iyi çalışırlar.”
Ancak arama motoru çekirdek düzeyinde: “Dünya çapında yalnızca avuç içi kadar çekirdek arama teknolojisi ve kütüphanesi var: Lucene, Tantivy ve SereneDB tarafından oluşturulan IResearch. Elasticsearch, OpenSearch, Solr ve diğerlerinin çoğu Lucene türevleridir ve bir kopya ilk modeli izler. Yerel olarak tutmadıkları verileri arayamazlar, bu nedenle aranacak herhangi bir veri çıkarılmalı, aktarılmalı ve arama kümesine kopyalanmalıdır.”
SereneDB farklı çalışır: “SereneDB, verileri zaten bulunduğu yerde indeksler. S3'teki Parquet dosyaları ve Iceberg tabloları doğruluk kaynağı olmaya devam eder. Yalnızca türetilmiş dizini saklarız. Arama kendisi - BM25 sıralamalı tam metin, vektör ve coğrafi arama - küçük bir yerel sıcak küme ile bu dizine karşı çalışır. Iceberg kullanım durumu somut bir örnek olarak hizmet eder: bir müşteri S3'teki bir Iceberg tablosuna değişiklik yazar, SereneDB bu güncellemeleri alır ve bunlar üzerinde arama ve analiz sunar. Aynı tabloya istediğiniz sayıda SereneDB düğümü yönlendirebilirsiniz.”
Nesne depolama, veritabanı veya lakehouse satıcılarının SereneDB'nin arama motorunu Lucene ve türevlerine alternatif olarak benimseyip benimseyemeyeceğini sorduk. Abramov şunları söyledi: “Evet, kesinlikle! Yalnızca saf Lucene türevleri olan ElasticSearch, OpenSearch, Solr, CrateDB'yi değiştirmekle kalmayıp, aynı zamanda analitik yeteneklerle de zenginleştirebiliriz. Örneğin, ElasticSearch'ten geçişi kapsayan özel belgeler tutuyoruz.”
Firma, arama motoru hızını popüler alternatiflerle karşılaştıran ve onları geride bırakan kıyaslamalar yaptı. Abramov şunları söyledi: “Bu kıyaslamalarla amacımız, SereneDB'nin geleneksel arama yığınına daha hızlı ve modern bir alternatif olduğunu göstermekti.”
Kıyaslama Detayları
SereneDB'nin SearchBench'i, 100 milyon ve 1 milyar OpenTelemetry günlük kaydına karşı yürütülen 92 arama ve analiz sorgusu, kayıt başına 15 depolanmış sütun içeren ClickHouse tarafından yayınlanan TextBench veri kümesini içerir. Tüm testler tek bir sunucuda çalıştırılır. Rekabet eden her motor, yayınlanan yapılandırma parametreleri kullanılarak ayarlandı ve sorgu başına 60 saniyelik bir zaman aşımı süresi vardı. Bu sınırı aşan herhangi bir sorgu tamamlanamadı olarak işaretlenir.
Bir düzineden fazla popüler arama motoru için kıyaslama sonuçları bir gösterge tablosunda mevcuttur. Test edilen motorlar arasında dört yapılandırmada Elasticsearch, OpenSearch, ParadeDB, CrateDB, ArangoDB, satır ve sütun depolama varyantlarıyla TigerDB ve standart Postgres yer alıyor, ek motorlar eklenecek. Zamanlama, sorgu başına üç çalıştırma kullanır ve son iki çalıştırmadan en iyi sonucu alır. Tek bir istemciden aynı anda tek bir sorgu yürütülür ve sonuç önbelleğe alma devre dışı bırakılır. Gösterge tablosu, verim yerine gecikmeyi ölçer.
Gösterge tablosunun sonuç hücreleri, her sorgu için en hızlı motora göre performans oranlarını gösterir; burada en hızlı sonuç 1.0x'e eşittir. Genel puan, bu 92 sorgu başına oranların geometrik ortalaması olarak hesaplanır. SereneDB, bu standart oran ortalama yönteminin tek bir aykırı sorgunun sonuçları çarpıtmasını önlediğini açıklıyor.
SereneDB, 100 milyon kayıt veri kümesinde 1.05x ve 1 milyar kayıt veri kümesinde 1.07x geometrik ortalama elde eder. 92 sorgunun tamamında, en hızlı motor veya en yüksek hızın birkaç yüzdesi içindedir. ElasticSearch, 100 milyon veri kümesinde 2.8x geometrik ortalama ile ikinci sırada yer alıyor. TigerData sütun depolama, 1 milyar veri kümesinde 2.24x puan alıyor ve çok sayıda zaman aşımı var. Standart Postgres, 100 milyon veri kümesinde 204x ve 1 milyar veri kümesinde 50.69x'e ulaşıyor.
Satıcılar arasındaki karşılaştırmayı karmaşık gösterge tablosu görünümünün ötesinde basitleştirmek için, 100 milyon kıyaslamasından alınan geometrik ortalama puanlarını gösteren bir grafik oluşturduk.
Performans boşlukları son derece geniştir, bu nedenle 10'un üzerindeki puanları hariç tuttuk ve grafiği yeniden çizdik. SereneDB'nin belirttiği gibi, arama motoru test edilen grubu lider durumda.
SereneDB'nin Kuruluşu ve Finansmanı
SereneDB, 2025 yılında Berlin'de, daha önce EMC, Dell ve ArangoDB'de kurumsal satış deneyimi olan CEO Alexander Malandin; Quest Software, EMC ve ArangoDB'de arama Ar-Ge geçmişi olan CTO Andrey Abramov; ve daha önce ArangoDB ve YDB'de çalışan çekirdek mühendis Valery Mironov tarafından kuruldu. Sekiz kişilik mühendislik ekibi 16 yılı aşkın süredir birlikte çalışıyor. Çekirdek arama motoru IResearch, 2014'ten beri geliştirilmektedir.
Startup, Aralık 2025'te Entourage ve High-Tech Gründerfonds liderliğinde 2.1 milyon dolarlık ön tohum finansmanı duyurdu.
SereneDB Krummelanke, Apache 2.0 lisansı altında açık kaynaklıdır ve GitHub'da mevcuttur.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odak Noktası:
BT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla işbirliği yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak” Güvenilir BT Ürün Hizmet Sağlayıcınız!
Mesajınız 20-3.000 karakter arasında olmalıdır!
Turkish
