Kā mēs strādājam

Produkts un neierobežots plāns

Abonements nodrošina piekļuvi izvēlētajam modelim 3, 7 vai 30 dienas bez kopējās ievades un izvades tokenu kvotas. Katrā abonementā ir četri paralēli pieprasījumi. Konta atslēgas izmanto attiecīgā modeļa kopējo slotu kopu. Pēc darbības pabeigšanas slots tiek atbrīvots.

Rate Cloud pārvalda svaru izvietošanu, izpildes dzinējus, precizitātes profilus un pieprasījumu sadali. Aprīkojums tiek nomāts no uzņēmumu īpašniekiem. To klasteru brīvā jauda papildina stabilo rezervi. Neierobežots plāns attiecas uz tokeniem periodā: konteksts, vienas darbības laiks, paralelitāte un aizsardzības ierobežojumi paliek galīgi.

Serveri un aprēķini

Arhitektūrā izmanto Huawei Atlas platformas un Ascend paātrinātājus: Atlas 800I A2 un A3 lieliem modeļiem, Atlas 900 A2 PoD un A3 SuperPoD sadalītām grupām. Atlas 500 un 500 A2 paredzēti mazākiem pakalpojumu uzdevumiem; Atlas 800 ar Atlas 300I Duo veido atsevišķu saderības klasi.

Atlas 800I A2 ir 8 NPU, katrs ar 64 GB. Atlas 800I A3 ir 8 fiziski NPU ar 128 GB, kas attēloti kā 16 loģiskās ierīces. Tie ir divi vienas atmiņas attēlojumi, tos nedrīkst summēt. Katra modeļa atbalsts tiek pārbaudīts atsevišķi. Starp vietām tiek pārslēgti veseli pieprasījumi; cieši saistīti vienas replikas aprēķini izmanto saderīgu lokālo tīklu.

Modeļi un kvantēšana

Viens un tas pats modelis ir sagatavots vairākos kvantēšanas variantos. Piemēram, GLM 5.3 var apstrādāt dažādus pieprasījumus kvalitātes, līdzsvarotā vai ekonomiskā profilā. Viedā sistēma novērtē uzdevumu un pati izvēlas piemērotu tā paša modeļa variantu. Lietotājam jāizvēlas tikai modelis: bitu skaits nav jāpārslēdz manuāli.

Kvalitātes profils izmanto pārbaudītu sākotnējo formātu, W8A8 vai citu atļautu konfigurāciju. Līdzsvarotais profils apvieno komponentu precizitāti, piemēram, 4 un 8 bitus, ar efektīvu vidējo precizitāti ap 6 bitiem. Tā nav universāla INT6 garantija. Ekonomiskais profils izmanto pārbaudītus tā paša modeļa W4A16, W4A8 vai MXFP4 formātus. Profila pieejamība ir atkarīga no aprīkojuma un kvalitātes pārbaudes.

Iedomājieties modeļa skaitļus kā vērtības, kas pierakstītas ar atšķirīgu precizitāti. Kompaktais pieraksts aizņem mazāk atmiņas, taču var ietekmēt rezultātu. Tāpēc vienkāršu datu meklēšanu var novirzīt uz pārbaudītu kompaktu variantu, bet sarežģītu kodu, matemātiku un darbu ar rīkiem uz kvalitātes profilu. Ja rodas šaubas, sistēma izvēlas kvalitāti. Flash un Pro paliek atsevišķi modeļi un neaizstāj viens otru.

Kvalitātes pārbaude

Katrs profils tiek pārbaudīts pret precīzu sākotnējo laidienu publiskos, sintētiskos un īpaši sagatavotos uzdevumos: kods, matemātika, garš konteksts, rīki un stingrs JSON. Lietotāju dialogi netiek izmantoti apmācībai vai kalibrēšanai.

Pārbaude aptver rezultāta kvalitāti, atmiņu, ātrumu un API funkciju pareizību. Mazs bitu skaits ir atļauts tikai piemērotiem uzdevumiem. Jau publicētu zema bitu skaita svaru bitu skaita palielināšana neatjauno zaudēto informāciju. reasoning_effort maiņa ir patstāvīgs iestatījums, un tā netiek pasniegta kā kvantēšanas ietekme.

Pieprasījuma ceļš

Aizsargāts savienojums → atslēgas, abonementa un brīvā slota pārbaude → prasību noteikšana → izvēlētā modeļa profila izvēle → gatavas replikas piešķiršana → straumēta atbilde → slota atbrīvošana un pagaidu satura tīrīšana.

Loģiskajai darbībai ir request_id, katram aprēķinu mēģinājumam ir attempt_id. Pirms izvades sākuma ir atļauts atkārtot mēģinājumu saderīgā replikā kopējā termiņa ietvaros. Pēc straumes sākuma vienas atbildes sākumu nesavieno ar jaunas ģenerēšanas turpinājumu. Klientam pārtraukta straume jāuzskata par nepabeigtu.

Vieda sadale

Maršrutētājs ņem vērā kontekstu, attēlus, rīkus, atbildes formātu, uzdevuma sarežģītību, pieejamo atmiņu, rindu, replikas stāvokli un resursu piešķiršanas termiņu. Kods, matemātika, stingras shēmas, rīki un nenoteikti uzdevumi saņem kvalitātes prioritāti. Īss jautājums ne vienmēr ir vienkāršs.

Izmaksas ņem vērā tikai starp atbilstošiem maršrutiem. Darbības laikā tiek fiksēta svaru versija un atļautās funkcijas. Nesaderīgs serveris tiek izslēgts pirms piešķiršanas. Ja piemērotas jaudas nav, iespējama gaidīšana iekšējā budžeta ietvaros vai skaidra īslaicīgas nepieejamības kļūda; cits modelis netiek nemanāmi aizstāts.

Noturība un atjaunošana

Stabilās grupas uztur pamata darbību un atjaunošanu. Papildu pārtraucamās grupas palielina jaudu. Pēc brīdinājuma par atsaukšanu serveris vairs nepieņem jaunas darbības, bet nepabeigtie uzdevumi tiek apstrādāti sākotnējā termiņa ietvaros. Kritiska paātrinātāja zudums izslēdz visu no tā atkarīgo repliku.

Sagatavotā replika ielādē svarus, iesilst un iziet gatavības pārbaudi. Neatkarīgas atteices grupas mazina vienas avārijas ietekmi. Atkārtoti aprēķini var palielināt aizkavi. Atjaunošanas arhitektūra nenozīmē katra modeļa garantētu pieejamību 24/7.

Infrastruktūras drošība

Ārējā pārsūtīšana ir aizsargāta ar TLS. Savstarpējos pakalpojumu savienojumos tiek izmantota identitātes pārbaude un mTLS. Piekļuves tiesības tiek piešķirtas atbilstoši dienesta vajadzībām. Atslēgas, konti, projekti un kešatmiņas apgabali ir izolēti. API noslēpumi un pieprasījumu saturs nedrīkst nonākt žurnālos vai dublējumkopijās.

Savienojuma aizsardzība atšķiras no datu aizsardzības aprēķinu laikā. Nomātajam aprīkojumam ir sava uzticamības robeža: nevar solīt aparatūras aizsardzību katrā paātrinātājā. Zaudējot kontroli, mezglu izslēdz un tam atsauc pilnvaras; tā atjaunošanai nepieciešama pārbaude un tīrīšana.

Pieprasījumu dzēšana un pagaidu kešatmiņa

Rate Cloud neveido pastāvīgu pieprasījumu un atbilžu tekstu vēsturi un neapmāca modeļus ar lietotāju datiem. Saturs tiek apstrādāts pagaidu atmiņā. Pieejamo pārvaldīto lietojumprogrammu buferu tīrīšanas normatīvs: līdz 5 sekundēm pēc sekmīgas nodošanas; līdz 30 sekundēm pēc galīgas kļūdas, atcelšanas vai savienojuma pārtraukuma.

Izolētajai aprēķinu KV kešatmiņai ir atsevišķs termiņš: līdz 5 minūtēm bez atkārtotas lietošanas un līdz 15 minūtēm absolūtā vecuma. Pēc termiņa beigām bloku izslēdz no jauniem trāpījumiem; darbība, kas to jau izmanto, var beigties savā termiņā. Pēc pēdējās atsauces atbrīvošanas atmiņa tiek notīrīta. Kešatmiņu neieraksta pastāvīgajā diskā un neiekļauj momentuzņēmumos.

Saderības atslēga ietver kontu, modeli, svaru revīziju, kvantēšanu, tokenizatoru, dialoga veidni un sistēmas instrukcijas. Indeksu aizsargā HMAC. Lietotājs nevar izvēlēties cita lietotāja kešatmiņas apgabalu. Profilu bez kešatmiņas starp pieprasījumiem nosaka projekta apstrādes politika. Vēsturi klienta programmā pārvalda pati programma.

Tehniskie metadati ietver identifikatorus, modeli, profilu, laiku, ilgumu, usage, slotu stāvokli un kļūdu kodus. Detalizētos ierakstus dzēš pēc 30 dienām. Tajos nav uzvedņu, atbilžu, rīku argumentu, failu vai autorizācijas tokenu. Konta, maksājumu un brīvprātīgo atbalsta pieprasījumu datiem ir atsevišķi mērķi un glabāšanas termiņi.

Pieejamība un kompensācija

Modeļu pieejamība 24 stundas diennaktī, 7 dienas nedēļā netiek garantēta. Ja visa sistēma ir pilnībā nepieejama nepārtraukti ilgāk par 4 stundām un pieprasījumi atgriež HTTP 503, apmaksātie abonementi tiek pagarināti: 3 dienu termiņš par 12 stundām, 7 dienu termiņš par 1 diennakti, 30 dienu termiņš par 3 dienām.

Noteikums attiecas tikai uz pilnu sistēmas dīkstāvi ar HTTP 503. Atsevišķas modeļa kļūdas, lēna atbilde, paralelitātes ierobežojumi un kļūdas ar citiem kodiem nav šāds pamats. Lai pārbaudītu incidentu, sazinieties ar atbalstu, norādot laiku un darbību identifikatorus, neizpaužot API noslēpumu vai pieprasījumu saturu. Lietotāja obligātās tiesības tiek saglabātas.

Versijas un ieviešanas kritēriji

Pieņemšanas pārbaudēs pārbauda izvēlētā modeļa saglabāšanu, kvalitātes prioritāti, atjaunošanu sākotnējā termiņā, kešatmiņas izolāciju, satura dzēšanu, savienojumu aizsardzību un tekstu neesamību analītikā. API, kešatmiņas un profilu līgumu izmaiņas jāsaskaņo starp dokumentāciju, kontu un noteikumiem.