Біз қалай жұмыс істейміз

Өнім және шексіздік

Жазылым таңдалған модельге 3, 7 немесе 30 күн бойы кіріс және шығыс токендерінің жиынтық квотасынсыз қолжетімділік береді. Әр жазылым төрт қатар сұрауды қамтиды. Тіркелгі кілттері тиісті модельдің ортақ слоттар пулын пайдаланады. Операция біткен соң слот босатылады.

Rate Cloud салмақтарды орналастыруды, орындау қозғалтқыштарын, дәлдік профильдерін және сұрауларды таратуды басқарады. Жабдық кәсіпорын иелерінен жалға алынады. Олардың кластерлеріндегі бос қуат тұрақты резервті толықтырады. Шексіздік мерзім ішіндегі токендерге қатысты: контекст, бір операцияның уақыты, қатар орындалу және қорғау шектеулері ақырлы болып қалады.

Серверлер және есептеу

Архитектура Huawei Atlas платформалары мен Ascend үдеткіштерін пайдаланады: үлкен модельдерге Atlas 800I A2 және A3, үлестірілген топтарға Atlas 900 A2 PoD және A3 SuperPoD. Atlas 500 және 500 A2 шағын қызметтік тапсырмаларға арналған; Atlas 300I Duo бар Atlas 800 бөлек үйлесімділік класы болып саналады.

Atlas 800I A2 құрамында әрқайсысы 64 GB болатын 8 NPU бар. Atlas 800I A3 құрамында әрқайсысы 128 GB болатын 8 физикалық NPU бар, олар 16 логикалық құрылғы ретінде көрсетіледі. Бұлар бір жадтың екі көрінісі, сондықтан оларды қосуға болмайды. Әр модельге қолдау бөлек тексеріледі. Сайттар арасында толық сұраулар ауыстырылады; бір реплика ішіндегі тығыз байланысқан есептеулер үйлесімді жергілікті желіні пайдаланады.

Модельдер және кванттау

Бір модель бірнеше кванттау нұсқасында дайындалады. Мысалы, GLM 5.3 әртүрлі сұрауларды сапалы, теңгерімді немесе үнемді профильде өңдей алады. Ақылды жүйе тапсырманы бағалап, сол модельдің лайықты нұсқасын таңдайды. Пайдаланушыға модельді таңдау жеткілікті: бит тереңдігін қолмен ауыстыру қажет емес.

Сапа профилі тексерілген бастапқы форматты, W8A8 немесе басқа рұқсат етілген конфигурацияны қолданады. Теңгерімді профиль компонент дәлдігін үйлестіреді, мысалы 4 және 8 битті біріктіріп, орташа тиімділікті шамамен 6 битке жеткізеді. Бұл әмбебап INT6 уәдесі емес. Үнемді профиль сол модельдің тексерілген W4A16, W4A8 немесе MXFP4 форматын қолданады. Профиль қолжетімділігі жабдық пен сапа тексерісіне байланысты.

Модель сандарын әртүрлі дәлдікпен жазылған мәндер деп елестетіңіз. Ықшам жазылуы жадты аз алады, бірақ нәтижеге әсер етуі мүмкін. Сондықтан қарапайым ақпарат іздеу тексерілген ықшам нұсқаға, ал күрделі код, математика және құралмен жұмыс сапа профиліне жіберілуі мүмкін. Күмән болса, жүйе сапаны таңдайды. Flash пен Pro бөлек модельдер болып қалады және бірін-бірі алмастырмайды.

Сапаны тексеру

Әр профиль нақты бастапқы шығарылыммен ашық, синтетикалық және арнайы дайындалған тапсырмаларда тексеріледі: код, математика, ұзақ контекст, құралдар және қатаң JSON. Пайдаланушы диалогтары оқытуға немесе калибрлеуге қолданылмайды.

Тексеру нәтижені, жадты, жылдамдықты және API функцияларының дұрыстығын қамтиды. Төмен биттік разрядтылық тек жарамды тапсырмаларға рұқсат етіледі. Жарияланған төмен битті салмақтардың разрядтылығын арттыру жоғалған ақпаратты қалпына келтірмейді. reasoning_effort өзгерісі бөлек баптау болып табылады және кванттау әсері ретінде көрсетілмейді.

Сұрау жолы

Қауіпсіз байланыс → кілтті, жазылымды және бос слотты тексеру → талаптарды анықтау → таңдалған модельдің профилін таңдау → дайын репликаны тағайындау → жауапты ағынмен беру → слотты босатып, уақытша мазмұнды тазалау.

Логикалық операцияда request_id, ал әр есептеу әрекетінде attempt_id болады. Шығыс басталғанға дейін жалпы мерзім аясында үйлесімді репликада қайта орындауға болады. Ағын басталған соң бір жауаптың басы жаңа генерацияның жалғасымен біріктірілмейді. Клиент үзілген ағынды аяқталмаған деп санауы керек.

Ақылды тарату

Маршрутизатор контексті, суреттерді, құралдарды, жауап пішімін, тапсырма күрделілігін, қолжетімді жадты, кезекті, реплика күйін және ресурстарды бөлу мерзімін ескереді. Код, математика, қатаң схемалар, құралдар және белгісіз тапсырмалар сапа басымдығын алады. Қысқа сұрақ міндетті түрде оңай емес.

Құн тек жарамды маршруттар арасында ескеріледі. Операция кезінде салмақ нұсқасы мен рұқсат етілген функциялар бекітіледі. Үйлесімсіз серверлер тағайындауға дейін шығарылады. Сәйкес қуат болмаса, ішкі бюджет шегінде күту немесе уақытша қолжетімсіздік туралы анық қате болуы мүмкін; басқа модель байқатпай қойылмайды.

Тұрақтылық және қалпына келтіру

Тұрақты топтар негізгі жұмыс пен қалпына келтіруді қолдайды. Қосымша үзілуі мүмкін топтар сыйымдылықты арттырады. Өкілеттікті қайтару туралы ескерту кезінде сервер жаңа операцияларды қабылдамайды, ал аяқталмаған тапсырмалар бастапқы мерзім аясында өңделеді. Маңызды үдеткіш жоғалса, оған тәуелді бүкіл реплика шығарылады.

Дайын реплика салмақтарды жүктеу, қыздыру және дайындық тексерулерінен өтеді. Тәуелсіз ақау топтары бір үзілістің әсерін азайтады. Есептеуді қайталау кідірісті арттыруы мүмкін. Қалпына келтіру архитектурасы әр модельдің 24/7 қолжетімділігіне кепілдік бермейді.

Инфрақұрылым қауіпсіздігі

Сыртқы деректер тасымалы TLS арқылы қорғалған. Қызметаралық байланыстар сәйкестікті тексеру мен mTLS қолданады. Қолжетімділік құқықтары жұмыс қажеттілігіне қарай беріледі. Кілттер, тіркелгілер, жобалар және кэш аймақтары оқшауланған. API құпиялары мен сұрау мәтіндері журналдарда немесе сақтық көшірмелерде болмауы керек.

Байланыс қауіпсіздігі есептеу кезіндегі деректерді қорғаудан бөлек. Жалға алынған жабдықтың өзіндік сенім шекарасы бар: барлық үдеткіште аппараттық қорғалған орындауға кепілдік берілмейді. Басқару жоғалса, түйін шығарылып, оның өкілеттігі қайтарылады; жүйеге қайтару үшін тексеру мен тазалау қажет.

Сұрауларды жою және уақытша кэш

Rate Cloud сұраулар мен жауаптар мәтінінің тұрақты тарихын жасамайды және пайдаланушы деректерімен модельдерді оқытпайды. Мазмұн уақытша жадта өңделеді. Қолжетімді басқарылатын қолданба буферлерін тазалау нысанасы сәтті жеткізгеннен кейін 5 секундқа дейін, ал түпкілікті қате, тоқтату немесе байланыс үзілгеннен кейін 30 секундқа дейін.

Оқшауланған есептеу KV кэшінің бөлек мерзімі бар: қайта пайдаланылмаса 5 минутқа дейін, абсолютті жасы 15 минутқа дейін. Мерзім біткен соң блок жаңа сәйкестіктерге қолданылмайды; оны пайдаланып жатқан операция өз мерзімінде аяқталуы мүмкін. Соңғы сілтеме босатылғаннан кейін жад тазартылады. Кэш тұрақты дискіге жазылмайды және снапшоттарға кірмейді.

Үйлесімділік кілтіне тіркелгі, модель, салмақтар ревизиясы, кванттау, токенизатор, чат үлгісі және жүйелік нұсқаулар кіреді. Индекс HMAC арқылы қорғалған. Пайдаланушы басқа адамның кэш аймағын таңдай алмайды. Сұраулар арасында кэш қолданбайтын профиль жоба өңдеу саясаты арқылы белгіленеді. Клиент бағдарламасындағы тарихты сол бағдарламаның өзі басқарады.

Техникалық метадеректерге идентификаторлар, модель, профиль, уақыт, ұзақтық, usage, слот күйі және қате кодтары кіреді. Егжей-тегжей жазбалар 30 күннен кейін жойылады. Оларда prompt, жауап, құрал аргументтері, файлдар және авторизация токендері жоқ. Тіркелгі, төлем және ерікті қолдау сұрауы деректерінің мақсаттары мен сақтау мерзімдері бөлек.

Қолжетімділік және өтемақы

Модельдердің аптасына 7 күн, күніне 24 сағат қолжетімді болуына кепілдік берілмейді. Бүкіл жүйе 4 сағаттан артық үздіксіз толық қолжетімсіз болып, сұраулар HTTP 503 қайтарса, ақылы жазылымдар ұзартылады: 3 күндік мерзімге 12 сағат, 7 күндікке 1 тәулік, 30 күндікке 3 күн қосылады.

Бұл ереже тек HTTP 503 бар жүйенің толық үзілісіне қатысты. Жеке модель қателері, баяу жауап, қатарлық шектеулері және басқа кодтар негіз болмайды. Оқиғаны тексеру үшін API құпиясын немесе сұрау мазмұнын жібермей, уақыт пен операция идентификаторларын қолдауға хабарлаңыз. Пайдаланушының міндетті құқықтары сақталады.

Нұсқалар және іске асыру өлшемдері

Қабылдау кезінде таңдалған модельдің сақталуы, сапаға басымдық, бастапқы мерзімде қалпына келтіру, кэш оқшаулауы, мазмұнды жою, байланыстарды қорғау және аналитикада мәтіннің болмауы тексеріледі. API, кэш және профиль келісімшарттарындағы өзгерістер құжаттама, кабинет және шарттар арасында үйлесуі керек.