Produs și acces nelimitat
Abonamentul oferă acces la modelul ales timp de 3, 7 sau 30 de zile, fără cotă cumulată pentru tokenii de intrare și ieșire. Fiecare abonament include patru cereri paralele. Cheile contului folosesc pool-ul comun de sloturi al modelului respectiv. Slotul se eliberează la finalizarea operației.
Rate Cloud gestionează amplasarea ponderilor, motoarele de execuție, profilurile de precizie și distribuirea cererilor. Echipamentele sunt închiriate de la proprietari corporativi. Capacitatea liberă a clusterelor acestora completează rezerva stabilă. Accesul nelimitat se referă la numărul de tokeni pe durata perioadei: contextul, durata unei operații, paralelismul și restricțiile de protecție rămân limitate.
Servere și calcul
Arhitectura folosește platformele Huawei Atlas și acceleratoarele Ascend: Atlas 800I A2 și A3 pentru modele mari, Atlas 900 A2 PoD și A3 SuperPoD pentru grupuri distribuite. Atlas 500 și 500 A2 sunt destinate sarcinilor auxiliare mai mici; Atlas 800 cu Atlas 300I Duo reprezintă o clasă separată de compatibilitate.
Atlas 800I A2 conține 8 NPU-uri de câte 64 GB. Atlas 800I A3 conține 8 NPU-uri fizice de câte 128 GB, prezentate ca 16 dispozitive logice. Acestea sunt două reprezentări ale aceleiași memorii și nu trebuie adunate. Compatibilitatea fiecărui model se verifică separat. Între locații se mută cereri întregi; calculele strâns legate ale unei replici folosesc o rețea locală compatibilă.
Modele și cuantizare
Același model este pregătit în mai multe variante de cuantizare. De exemplu, GLM 5.3 poate procesa cereri diferite folosind profilul de calitate, cel echilibrat sau cel economic. Sistemul inteligent evaluează sarcina și selectează automat varianta potrivită a aceluiași model. Utilizatorul trebuie doar să aleagă modelul; nu este nevoie să schimbe manual numărul de biți.
Profilul de calitate folosește formatul original verificat, W8A8 sau o altă configurație aprobată. Profilul echilibrat combină componente cu precizii diferite, de exemplu 4 și 8 biți, cu o precizie medie efectivă de aproximativ 6 biți. Aceasta nu promite un INT6 universal. Profilul economic folosește W4A16, W4A8 sau MXFP4 verificate pentru același model. Disponibilitatea profilului depinde de echipament și de verificarea calității.
Imaginați-vă valorile modelului ca numere scrise cu precizii diferite. O reprezentare compactă ocupă mai puțină memorie, dar poate influența rezultatul. De aceea, căutarea simplă de date poate folosi o variantă compactă verificată, iar codul complex, matematica și utilizarea instrumentelor folosesc profilul de calitate. Dacă există dubii, sistemul alege calitatea. Flash și Pro sunt modele distincte și nu se înlocuiesc reciproc.
| Model | Versiunea originală | Variante ale aceluiași model: sistemul alege pentru fiecare cerere |
|---|---|---|
| GLM 5.3 | zai-org/GLM-5.3 / GLM-5.3-BF16 | Formatul original; W8A8C8 sau MXFP4 verificate pe echipamente compatibile. |
| GLM 5.3 Flash | zai-org/GLM-5.3-Flash / BF16 | W8A8; pentru A3 și 950DT se folosesc variante hardware diferite, inclusiv MXFP8. |
| DeepSeek V4 Pro | deepseek-ai/DeepSeek-V4-Pro-0813 | MXFP8 și MXFP4 native; W4A8 pregătit, dacă compatibilitatea este confirmată. |
| DeepSeek V4.1 Flash | deepseek-ai/DeepSeek-V4.1-Flash-1017 | MXFP4 nativ, FP8 și componente cu precizie mai mare; adaptare W8A8 pentru A2/A3 cu plasarea separată a Engram. |
| Qwen 3.8 Max | Qwen/Qwen3.8-2.4T-A95B | Profiluri verificate de calitate și economie ale aceluiași model. Ediția arhitecturală nu stabilește un singur format fix. |
Verificarea calității
Fiecare profil este verificat față de versiunea originală exactă, folosind sarcini publice, sintetice și pregătite special: cod, matematică, context lung, instrumente și JSON strict. Dialogurile utilizatorilor nu sunt folosite pentru antrenare sau calibrare.
Verificarea acoperă calitatea rezultatului, memoria, viteza și corectitudinea funcțiilor API. Precizia redusă este permisă numai pentru sarcinile potrivite. Creșterea preciziei ponderilor cu puțini biți deja publicate nu recuperează informația pierdută. Modificarea reasoning_effort este o setare separată și nu este prezentată ca efect al cuantizării.
Traseul cererii
Conexiune securizată → verificarea cheii, abonamentului și slotului liber → stabilirea cerințelor → selectarea profilului modelului ales → alocarea unei replici pregătite → răspuns în flux → eliberarea slotului și ștergerea conținutului temporar.
O operație logică are un request_id, iar fiecare încercare de calcul are un attempt_id. Înainte de începerea transmiterii este permisă o nouă încercare pe o replică compatibilă, în limita termenului total. După începerea fluxului, începutul unui răspuns nu este concatenat cu continuarea unei noi generări. Clientul trebuie să considere fluxul întrerupt ca neterminat.
Distribuire inteligentă
Routerul ia în calcul contextul, imaginile, instrumentele, formatul răspunsului, complexitatea sarcinii, memoria disponibilă, coada, starea replicii și perioada de alocare a resurselor. Codul, matematica, schemele stricte, instrumentele și sarcinile incerte au prioritate pentru profilul de calitate. O întrebare scurtă nu este neapărat simplă.
Costul este luat în calcul numai între rutele eligibile. Pentru fiecare operație se fixează versiunea ponderilor și funcțiile permise. Serverele incompatibile sunt excluse înainte de alocare. Dacă nu există capacitate potrivită, poate avea loc o așteptare în limita bugetului intern sau poate fi returnată o eroare explicită de indisponibilitate temporară; un alt model nu este substituit pe ascuns.
Reziliență și recuperare
Grupurile stabile susțin activitatea principală și recuperarea. Grupurile suplimentare, care pot fi întrerupte, măresc capacitatea. La primirea unei notificări de retragere, serverul nu mai acceptă operații noi, iar sarcinile în curs sunt procesate în termenul inițial. Pierderea unui accelerator critic scoate din funcțiune întreaga replică dependentă de acesta.
O replică pregătită trece prin încărcarea ponderilor, încălzire și verificarea disponibilității. Grupurile independente de defectare reduc impactul unei singure avarii. Repetarea calculelor poate mări latența. Arhitectura de recuperare nu garantează disponibilitatea fiecărui model 24/7.
Securitatea infrastructurii
Transmiterea externă este protejată prin TLS. Conexiunile dintre servicii folosesc verificarea identității și mTLS. Accesul se acordă doar în măsura necesară activității. Cheile, conturile, proiectele și spațiile de cache sunt izolate. Secretele API și corpurile cererilor nu trebuie să ajungă în jurnale sau copii de siguranță.
Protecția conexiunii este diferită de protecția datelor în timpul calculului. Echipamentele închiriate au propria limită de încredere: nu se poate promite execuție protejată hardware pe orice accelerator. Dacă se pierde controlul asupra unui nod, acesta este exclus și i se revocă autorizările; pentru repunere sunt necesare verificarea și curățarea.
Ștergerea cererilor și cache temporar
Rate Cloud nu păstrează un istoric permanent al textelor cererilor și răspunsurilor și nu antrenează modelele pe datele utilizatorilor. Conținutul este procesat în memoria temporară. Termenul de ștergere a bufferelor aplicației gestionate și accesibile: până la 5 secunde după transmiterea reușită; până la 30 de secunde după o eroare finală, anulare sau întreruperea conexiunii.
Cache-ul KV de calcul izolat are un termen separat: până la 5 minute fără reutilizare și până la 15 minute vechime absolută. După expirare, blocul este exclus din accesările noi; o operație care îl folosește deja poate fi finalizată în termenul său. Memoria este curățată după eliberarea ultimei referințe. Cache-ul nu este scris pe disc permanent și nu este inclus în instantanee.
Cheia de compatibilitate include contul, modelul, revizia ponderilor, cuantizarea, tokenizerul, șablonul dialogului și instrucțiunile de sistem. Indexul este protejat prin HMAC. Utilizatorul nu poate selecta spațiul de cache al altcuiva. Profilul fără cache între cereri este stabilit de politica de procesare a proiectului. Istoricul din aplicația client este gestionat de aplicația respectivă.
Metadatele tehnice includ identificatorii, modelul, profilul, timpul, durata, usage, starea sloturilor și codurile de eroare. Înregistrările detaliate sunt șterse după 30 de zile. Ele nu conțin prompturi, răspunsuri, argumente ale instrumentelor, fișiere sau tokeni de autorizare. Datele contului, plăților și solicitărilor de asistență furnizate voluntar au scopuri și perioade de păstrare separate.
Disponibilitate și compensare
Disponibilitatea modelelor 24 de ore pe zi, 7 zile pe săptămână nu este garantată. Dacă întregul sistem este complet indisponibil continuu mai mult de 4 ore, iar cererile returnează HTTP 503, abonamentele plătite se prelungesc: 12 ore pentru abonamentul de 3 zile, 1 zi pentru cel de 7 zile și 3 zile pentru cel de 30 de zile.
Regula se aplică numai întreruperii totale a sistemului cu HTTP 503. Erorile unui model individual, răspunsul lent, limitele de paralelism și alte coduri de eroare nu constituie acest temei. Pentru verificarea incidentului, contactați asistența cu ora și identificatorii operațiilor, fără secretul API sau conținutul cererilor. Drepturile obligatorii ale utilizatorului se păstrează.
Versiuni și criterii de implementare
La recepție se verifică păstrarea modelului selectat, prioritatea calității, recuperarea în termenul inițial, izolarea cache-ului, ștergerea conținutului, protecția conexiunilor și absența textelor din analize. Modificările contractelor API, ale cache-ului și ale profilurilor trebuie aliniate între documentație, panoul de control și condiții.