Kaip dirbame

Produktas ir neribotas planas

Prenumerata suteikia prieigą prie pasirinkto modelio 3, 7 arba 30 dienų be bendros įvesties ir išvesties žetonų kvotos. Kiekviena prenumerata apima keturias lygiagrečias užklausas. Paskyros raktai naudoja bendrą atitinkamo modelio lizdų telkinį. Užbaigus operaciją lizdas atlaisvinamas.

Rate Cloud valdo svorių išdėstymą, vykdymo variklius, tikslumo profilius ir užklausų paskirstymą. Įranga nuomojama iš įmonių savininkų. Laisvi jų klasterių pajėgumai papildo stabilų rezervą. Neribotas planas taikomas žetonams per laikotarpį: kontekstas, vienos operacijos trukmė, lygiagretumas ir apsaugos apribojimai išlieka baigtiniai.

Serveriai ir skaičiavimai

Architektūroje naudojamos Huawei Atlas platformos ir Ascend spartintuvai: Atlas 800I A2 ir A3 dideliems modeliams, Atlas 900 A2 PoD ir A3 SuperPoD paskirstytoms grupėms. Atlas 500 ir 500 A2 skirti mažoms tarnybinėms užduotims; Atlas 800 su Atlas 300I Duo yra atskira suderinamumo klasė.

Atlas 800I A2 turi 8 NPU po 64 GB. Atlas 800I A3 turi 8 fizinius NPU po 128 GB, pateikiamus kaip 16 loginių įrenginių. Tai du tos pačios atminties pateikimo būdai, jų negalima sudėti. Kiekvieno modelio palaikymas tikrinamas atskirai. Tarp vietų perjungiamos visos užklausos; glaudžiai susiję vienos replikos skaičiavimai naudoja suderinamą vietinį tinklą.

Modeliai ir kvantavimas

Tas pats modelis parengtas keliais kvantavimo variantais. Pavyzdžiui, GLM 5.3 gali apdoroti skirtingas užklausas kokybės, subalansuotu arba ekonomišku profiliu. Išmanioji sistema įvertina užduotį ir pati parenka tinkamą to paties modelio variantą. Naudotojui užtenka pasirinkti modelį: bitų skaičiaus rankiniu būdu keisti nereikia.

Kokybės profilis naudoja patikrintą pradinį formatą, W8A8 ar kitą leidžiamą konfigūraciją. Subalansuotame profilyje derinamas komponentų tikslumas, pavyzdžiui, 4 ir 8 bitai, o efektyvus vidutinis bitų skaičius yra apie 6. Tai nėra universalaus INT6 pažadas. Ekonomiškame profilyje naudojami patikrinti W4A16, W4A8 arba MXFP4 to paties modelio formatai. Profilio prieinamumas priklauso nuo įrangos ir kokybės patikros.

Įsivaizduokite modelio skaičius kaip skirtingo tikslumo užrašytas reikšmes. Kompaktiškas užrašas užima mažiau atminties, bet gali paveikti rezultatą. Todėl paprastą duomenų paiešką galima nukreipti į patikrintą kompaktišką variantą, o sudėtingą kodą, matematiką ir darbą su įrankiais į kokybės profilį. Jei kyla abejonių, sistema renkasi kokybę. Flash ir Pro lieka atskiri modeliai ir nepakeičia vienas kito.

Kokybės patikra

Kiekvienas profilis tikrinamas pagal tikslų pradinį leidimą viešose, sintetinėse ir specialiai parengtose užduotyse: kodas, matematika, ilgas kontekstas, įrankiai ir griežtas JSON. Naudotojų dialogai nenaudojami mokymui ar kalibravimui.

Patikra apima rezultato kokybę, atmintį, greitį ir API funkcijų teisingumą. Mažas bitų skaičius leidžiamas tik tinkamoms užduotims. Jau paskelbtų mažo bitų skaičiaus svorių bitų skaičiaus padidinimas negrąžina prarastos informacijos. reasoning_effort pakeitimas yra atskiras nustatymas ir nepriskiriamas kvantavimo poveikiui.

Užklausos kelias

Apsaugotas ryšys → rakto, prenumeratos ir laisvo lizdo patikra → reikalavimų nustatymas → pasirinkto modelio profilio parinkimas → paruoštos replikos paskyrimas → srautinis atsakymas → lizdo atlaisvinimas ir laikino turinio išvalymas.

Loginė operacija turi request_id, kiekvienas skaičiavimo bandymas turi attempt_id. Iki išvesties pradžios galima pakartoti veiksmą suderinamoje replikoje per bendrą terminą. Prasidėjus srautui vieno atsakymo pradžia nesujungiama su naujos generacijos tęsiniu. Klientas nutrūkusį srautą turi laikyti neužbaigtu.

Išmanus paskirstymas

Maršrutizatorius atsižvelgia į kontekstą, vaizdus, įrankius, atsakymo formatą, užduoties sudėtingumą, prieinamą atmintį, eilę, replikos būklę ir išteklių paskyrimo terminą. Kodui, matematikai, griežtoms schemoms, įrankiams ir neapibrėžtoms užduotims teikiama kokybės pirmenybė. Trumpas klausimas nebūtinai paprastas.

Kaina įskaičiuojama tik tarp tinkamų maršrutų. Operacijos laikotarpiui fiksuojama svorių versija ir leidžiamos funkcijos. Nesuderinamas serveris pašalinamas prieš paskyrimą. Jei tinkamo pajėgumo nėra, galima laukti neviršijant vidinio biudžeto arba pateikiama aiški laikino neprieinamumo klaida; kitas modelis tyliai nepakeičiamas.

Atsparumas ir atkūrimas

Stabilios grupės palaiko pagrindinį darbą ir atkūrimą. Papildomos pertraukiamos grupės didina pajėgumą. Gavęs pranešimą apie atšaukimą serveris nebepriima naujų operacijų, o neužbaigtos užduotys vykdomos per pradinį terminą. Praradus kritinį spartintuvą išjungiama visa nuo jo priklausanti replika.

Parengta replika įkelia svorius, įšyla ir pereina parengties patikrą. Nepriklausomos gedimų grupės mažina vieno sutrikimo poveikį. Pakartotiniai skaičiavimai gali padidinti delsą. Atkūrimo architektūra nereiškia garantuoto kiekvieno modelio prieinamumo 24/7.

Infrastruktūros saugumas

Išorinis perdavimas apsaugotas TLS. Tarpusavio paslaugų ryšiuose naudojamas tapatybės tikrinimas ir mTLS. Prieigos teisės suteikiamos pagal tarnybinį poreikį. Raktai, paskyros, projektai ir talpyklos sritys izoliuojami. API paslaptys ir užklausų turinys neturi patekti į žurnalus ar atsargines kopijas.

Ryšio apsauga skiriasi nuo duomenų apsaugos skaičiavimo metu. Nuomojama įranga turi savo pasitikėjimo ribą: negalima žadėti aparatinės apsaugos kiekviename spartintuve. Praradus valdymą mazgas išjungiamas, jo teisės panaikinamos, o grąžinimui reikia patikros ir išvalymo.

Užklausų ištrynimas ir laikinoji talpykla

Rate Cloud nesukuria nuolatinės užklausų ir atsakymų tekstų istorijos ir nemoko modelių naudotojų duomenimis. Turinys apdorojamas laikinojoje atmintyje. Prieinamų valdomų programos buferių išvalymo normatyvas: iki 5 sekundžių po sėkmingo perdavimo; iki 30 sekundžių po galutinės klaidos, atšaukimo ar ryšio nutrūkimo.

Izoliuota skaičiavimo KV talpykla turi atskirą terminą: iki 5 minučių be pakartotinio naudojimo ir iki 15 minučių absoliutaus amžiaus. Pasibaigus terminui blokas neįtraukiamas į naujus pataikymus; jį jau naudojanti operacija gali baigtis per savo terminą. Atlaisvinus paskutinę nuorodą atmintis išvaloma. Talpykla neįrašoma į nuolatinį diską ir neįtraukiama į momentines kopijas.

Suderinamumo raktą sudaro paskyra, modelis, svorių revizija, kvantavimas, tokenizatorius, dialogo šablonas ir sistemos instrukcijos. Indeksas apsaugotas HMAC. Naudotojas negali pasirinkti kito asmens talpyklos srities. Profilį be talpyklos tarp užklausų nustato projekto apdorojimo politika. Kliento programos istoriją valdo pati programa.

Techniniai metaduomenys apima identifikatorius, modelį, profilį, laiką, trukmę, usage, lizdų būseną ir klaidų kodus. Išsamūs įrašai ištrinami po 30 dienų. Juose nėra promptų, atsakymų, įrankių argumentų, failų ar autorizavimo žetonų. Paskyros, mokėjimų ir savanoriškų kreipinių į pagalbą duomenys turi atskirus tikslus ir saugojimo laikotarpius.

Prieinamumas ir kompensacija

Modelių prieinamumas 24 valandas per parą, 7 dienas per savaitę negarantuojamas. Jei visa sistema visiškai nepasiekiama nepertraukiamai ilgiau nei 4 valandas ir užklausos grąžina HTTP 503, mokamos prenumeratos pratęsiamos: 3 dienų laikotarpis gauna 12 valandų, 7 dienų laikotarpis gauna 1 parą, 30 dienų laikotarpis gauna 3 dienas.

Taisyklė taikoma tik visiškai sistemos prastovai su HTTP 503. Atskiros modelio klaidos, lėtas atsakymas, lygiagretumo apribojimai ir kiti klaidų kodai nėra toks pagrindas. Norėdami patikrinti įvykį, kreipkitės į pagalbą ir nurodykite laiką bei operacijų identifikatorius, neatskleisdami API paslapties ar užklausų turinio. Privalomos naudotojo teisės išlieka.

Versijos ir įgyvendinimo kriterijai

Priimant tikrinama, ar išsaugotas pasirinktas modelis, kokybės prioritetas, atkūrimas pradiniame termino lange, talpyklos izoliavimas, turinio ištrynimas, ryšių apsauga ir tekstų nebuvimas analitikoje. API, talpyklos ir profilių sutarčių pakeitimai turi būti suderinti dokumentacijoje, paskyroje ir sąlygose.