Nasıl çalışıyoruz

Ürün ve sınırsız kullanım

Abonelik, seçilen modele 3, 7 veya 30 gün boyunca giriş ve çıkış tokenları için toplam kota olmadan erişim sağlar. Her abonelik dört paralel istek içerir. Hesap anahtarları ilgili modelin ortak slot havuzunu kullanır. İşlem tamamlanınca slot serbest kalır.

Rate Cloud, ağırlıkların yerleşimini, yürütme motorlarını, hassasiyet profillerini ve istek dağıtımını yönetir. Donanım kurumsal sahiplerinden kiralanır. Kümelerin boş kapasitesi istikrarlı yedeği tamamlar. Sınırsızlık dönem başına tokenlar için geçerlidir: bağlam, tek işlem süresi, eşzamanlılık ve API koruma kısıtlamaları sınırlı kalır.

Sunucular ve hesaplama

Mimari, Huawei Atlas platformlarını ve Ascend hızlandırıcılarını kullanır: büyük modeller için Atlas 800I A2 ve A3, dağıtılmış gruplar için Atlas 900 A2 PoD ve A3 SuperPoD. Atlas 500 ve 500 A2 küçük yardımcı işlere ayrılmıştır; Atlas 300I Duo içeren Atlas 800 ayrı bir uyumluluk sınıfıdır.

Atlas 800I A2, her biri 64 GB olan 8 NPU içerir. Atlas 800I A3, her biri 128 GB olan ve 16 mantıksal aygıt olarak sunulan 8 fiziksel NPU içerir. Bunlar aynı belleğin iki gösterimidir, toplanamaz. Her modelin desteği ayrı ayrı doğrulanır. Konumlar arasında isteklerin tamamı taşınır; bir replikadaki sıkı bağlantılı hesaplamalar uyumlu yerel ağı kullanır.

Modeller ve kuantizasyon

Aynı model birkaç kuantizasyon varyantında hazırlanır. Örneğin GLM 5.3 farklı istekleri kalite, dengeli veya ekonomik profilde işleyebilir. Akıllı sistem görevi değerlendirir ve aynı modelin uygun varyantını seçer. Kullanıcının yalnızca modeli seçmesi yeterlidir; bit sayısını elle değiştirmesi gerekmez.

Kalite profili doğrulanmış kaynak biçimini, W8A8’i veya onaylı başka bir yapılandırmayı kullanır. Dengeli profil, örneğin 4 ve 8 bit bileşenleri yaklaşık 6 bit etkin ortalama hassasiyette birleştirir. Bu, evrensel INT6 vaadi değildir. Ekonomik profil aynı modelin doğrulanmış W4A16, W4A8 veya MXFP4 biçimini kullanır. Profilin kullanılabilirliği donanıma ve kalite denetimine bağlıdır.

Model sayılarını farklı hassasiyette yazılmış değerler gibi düşünün. Kompakt gösterim daha az bellek kullanır ancak sonucu etkileyebilir. Bu nedenle basit veri araması doğrulanmış kompakt bir seçeneğe, karmaşık kod, matematik ve araç kullanımı kalite profiline yönlendirilebilir. Şüphede sistem kaliteyi seçer. Flash ve Pro ayrı modellerdir, birbirlerinin yerine geçmez.

Kalite kontrolü

Her profil, kod, matematik, uzun bağlam, araçlar ve katı JSON gibi herkese açık, sentetik ve özel hazırlanmış görevlerde tam kaynak sürüme göre doğrulanır. Kullanıcı diyalogları eğitim veya kalibrasyonda kullanılmaz.

Kontrol; sonuç kalitesini, belleği, hızı ve API işlevlerinin doğruluğunu kapsar. Düşük bitliğe yalnızca uygun görevlerde izin verilir. Yayımlanmış düşük bitli ağırlıkların bit sayısını artırmak kaybolan bilgiyi geri getirmez. reasoning_effort değişikliği ayrı bir ayardır ve kuantizasyon etkisi olarak sunulmaz.

İstek yolu

Güvenli bağlantı → anahtar, abonelik ve boş slot kontrolü → gereksinimlerin belirlenmesi → seçilen modelin profilinin belirlenmesi → hazır replikaya atama → akış yanıtı → slotun boşaltılması ve geçici içeriğin temizlenmesi.

Mantıksal işlemin request_id değeri, her hesaplama denemesinin attempt_id değeri vardır. Çıktı başlamadan önce toplam süre sınırı içinde uyumlu bir replikada yeniden deneme yapılabilir. Akış başladıktan sonra bir yanıtın başlangıcı yeni bir üretimin devamıyla birleştirilmez. Kesilen akış istemcide tamamlanmamış sayılmalıdır.

Akıllı yönlendirme

Yönlendirici bağlamı, görselleri, araçları, yanıt biçimini, görev karmaşıklığını, kullanılabilir belleği, kuyruğu, replikanın sağlığını ve kaynak tahsis süresini dikkate alır. Kod, matematik, katı şemalar, araçlar ve belirsiz görevler kalite profiline öncelik verir. Kısa bir soru mutlaka basit değildir.

Maliyet yalnızca uygun rotalar arasında değerlendirilir. İşlem boyunca ağırlık sürümü ve izin verilen işlevler sabitlenir. Uyumsuz sunucu atamadan önce elenir. Uygun kapasite yoksa dahili bütçe sınırında bekleme veya açık bir geçici kullanılamama hatası mümkündür; başka bir model sessizce yerine konmaz.

Dayanıklılık ve kurtarma

İstikrarlı gruplar ana çalışmayı ve kurtarmayı destekler. Ek kesintiye açık gruplar kapasiteyi artırır. Geri çekme uyarısında sunucu yeni işlem kabul etmez; sürmekte olan işler ilk süre sınırında tamamlanır. Kritik bir hızlandırıcının kaybı, ona bağlı replikanın tamamını devre dışı bırakır.

Hazır replika, ağırlıkları yükleme, ısınma ve hazır olma kontrollerinden geçer. Bağımsız hata grupları tek bir arızanın etkisini azaltır. Hesaplamanın tekrarlanması gecikmeyi artırabilir. Kurtarma mimarisi her modelin 7/24 erişilebilir olacağını garanti etmez.

Altyapı güvenliği

Dış aktarım TLS ile korunur. Servisler arası bağlantılar kimlik doğrulaması ve mTLS kullanır. Erişim hakları görev gereği verilir. Anahtarlar, hesaplar, projeler ve önbellek alanları yalıtılır. API sırları ve istek gövdeleri kayıtlara veya yedeklere girmemelidir.

Bağlantı güvenliği, hesaplama sırasında verilerin korunmasından farklıdır. Kiralanan donanımın kendine ait bir güven sınırı vardır: her hızlandırıcıda donanım korumalı yürütme vaat edilemez. Bir düğüm üzerindeki kontrol kaybedilirse düğüm devre dışı bırakılır, yetkileri iptal edilir; yeniden kullanıma dönüş doğrulama ve temizleme gerektirir.

İsteklerin silinmesi ve geçici önbellek

Rate Cloud, istek ve yanıt metinlerinin kalıcı geçmişini oluşturmaz ve modelleri kullanıcı verileriyle eğitmez. İçerik geçici bellekte işlenir. Erişilebilir ve yönetilen uygulama arabelleklerinin temizlenme süresi: başarılı iletimden sonra en fazla 5 saniye; son hata, iptal veya bağlantı kesilmesinden sonra en fazla 30 saniye.

Yalıtılmış hesaplama KV önbelleğinin ayrı süresi vardır: yeniden kullanılmadan en fazla 5 dakika, mutlak yaş olarak en fazla 15 dakika. Süre dolunca blok yeni isabetlerden çıkarılır; onu kullanan işlem kendi son tarihi içinde tamamlanabilir. Son başvuru serbest bırakılınca bellek temizlenir. Önbellek kalıcı diske yazılmaz ve anlık görüntülere dahil edilmez.

Uyumluluk anahtarı hesap, model, ağırlık revizyonu, kuantizasyon, tokenizer, diyalog şablonu ve sistem talimatlarını içerir. İndeks HMAC ile korunur. Kullanıcı başka birinin önbellek alanını seçemez. İstekler arası önbelleği kapalı profil proje işleme politikasıyla belirlenir. İstemci programındaki geçmiş o program tarafından yönetilir.

Teknik metadata; kimlikleri, modeli, profili, zamanı, süreyi, usage bilgisini, slot durumunu ve hata kodlarını içerir. Ayrıntılı kayıtlar 30 gün sonra silinir. Promptlar, yanıtlar, araç argümanları, dosyalar ve yetkilendirme tokenları bulunmaz. Hesap, ödeme ve gönüllü destek başvurusu verilerinin ayrı amaçları ve saklama süreleri vardır.

Erişilebilirlik ve telafi

Modellerin haftanın 7 günü, günde 24 saat erişilebilir olması garanti edilmez. Tüm sistem kesintisiz olarak 4 saatten uzun süre tamamen erişilemezse ve istekler HTTP 503 döndürürse ücretli abonelikler uzatılır: 3 günlük aboneliğe 12 saat, 7 günlük aboneliğe 1 gün, 30 günlük aboneliğe 3 gün.

Kural yalnızca HTTP 503 ile sistemin tamamen kesintiye uğraması için geçerlidir. Tekil model hataları, yavaş yanıt, paralellik kısıtları ve diğer hata kodları bu kapsama girmez. Olayın kontrolü için saat ve işlem kimlikleriyle, API sırrı veya istek içeriği olmadan desteğe başvurun. Zorunlu kullanıcı hakları saklıdır.

Sürümler ve uygulama ölçütleri

Kabul aşamasında seçilen modelin korunması, kalite önceliği, ilk son tarihte kurtarma, önbellek yalıtımı, içeriğin silinmesi, bağlantıların korunması ve analitiklerde metin bulunmaması doğrulanır. API, önbellek ve profil sözleşmelerindeki değişiklikler belgeler, hesap paneli ve koşullarla uyumlu olmalıdır.