Прадукт і безліміт
Падпіска дае доступ да выбранай мадэлі на 3, 7 або 30 дзён без агульнай квоты ўваходных і выходных токенаў. Кожная падпіска ўключае чатыры паралельныя запыты. Ключы акаўнта выкарыстоўваюць агульны пул слотаў адпаведнай мадэлі. Пасля завяршэння аперацыі слот вызваляецца.
Rate Cloud кіруе размяшчэннем вагаў, рухавікамі выканання, профілямі дакладнасці і размеркаваннем запытаў. Абсталяванне арандуецца ў карпаратыўных уладальнікаў. Свабодная магутнасць іх кластараў дапаўняе стабільны рэзерв. Безліміт датычыцца токенаў за перыяд: кантэкст, час адной аперацыі, паралельнасць і ахоўныя абмежаванні застаюцца канечнымі.
Серверы і вылічэнні
Архітэктура выкарыстоўвае платформы Huawei Atlas і паскаральнікі Ascend: Atlas 800I A2 і A3 для вялікіх мадэляў, Atlas 900 A2 PoD і A3 SuperPoD для размеркаваных груп. Atlas 500 і 500 A2 прызначаныя для невялікіх службовых задач; Atlas 800 з Atlas 300I Duo прадстаўляе асобны клас сумяшчальнасці.
Atlas 800I A2 мае 8 NPU па 64 GB. Atlas 800I A3 мае 8 фізічных NPU па 128 GB, прадстаўленых як 16 лагічных прылад. Гэта два прадстаўленні адной памяці, іх нельга складаць. Падтрымка кожнай мадэлі правяраецца асобна. Паміж пляцоўкамі пераключаюцца цэлыя запыты; цесна звязаныя вылічэнні адной рэплікі выкарыстоўваюць сумяшчальную лакальную сетку.
Мадэлі і квантаванне
Адна і тая ж мадэль падрыхтаваная ў некалькіх варыянтах квантавання. Напрыклад, GLM 5.3 можа выконваць розныя запыты ў профілі якасці, збалансаваным або эканамічным профілі. Разумная сістэма ацэньвае задачу і сама выбірае адпаведны варыянт той жа мадэлі. Карыстальніку дастаткова выбраць мадэль: уручную пераключаць разраднасць не трэба.
Профіль якасці выкарыстоўвае правераны зыходны фармат, W8A8 або іншую дапушчаную канфігурацыю. Збалансаваны профіль спалучае дакладнасць кампанентаў, напрыклад 4 і 8 біт з эфектыўнай сярэдняй разраднасцю каля 6 біт. Гэта не абяцанне ўніверсальнага INT6. Эканамічны профіль выкарыстоўвае правераныя W4A16, W4A8 або MXFP4 той жа мадэлі. Даступнасць профілю залежыць ад абсталявання і праверкі якасці.
Уявіце лікі мадэлі як значэнні з рознай дакладнасцю запісу. Кампактны запіс займае менш памяці, але можа ўплываць на вынік. Таму просты пошук даных можна накіраваць у правераны кампактны варыянт, а складаны код, матэматыку і працу з інструментамі ў профіль якасці. Калі ёсць сумненне, сістэма выбірае якасць. Flash і Pro застаюцца асобнымі мадэлямі і не падмяняюць адна адну.
| Мадэль | Зыходны выпуск | Варыянты адной мадэлі: сістэма выбірае для запыту |
|---|---|---|
| GLM 5.3 | zai-org/GLM-5.3 / GLM-5.3-BF16 | Зыходны фармат; правераныя W8A8C8 або MXFP4 на сумяшчальным абсталяванні. |
| GLM 5.3 Flash | zai-org/GLM-5.3-Flash / BF16 | W8A8; для A3 і 950DT выкарыстоўваюцца розныя апаратныя варыянты, у тым ліку MXFP8. |
| DeepSeek V4 Pro | deepseek-ai/DeepSeek-V4-Pro-0813 | Натыўныя MXFP8 і MXFP4; падрыхтаваны W4A8 пры пацверджанай сумяшчальнасці. |
| DeepSeek V4.1 Flash | deepseek-ai/DeepSeek-V4.1-Flash-1017 | Натыўныя MXFP4, FP8 і больш дакладныя кампаненты; адаптацыя W8A8 для A2/A3 з асобным размяшчэннем Engram. |
| Qwen 3.8 Max | Qwen/Qwen3.8-2.4T-A95B | Правераныя профілі якасці і эканоміі той жа мадэлі. Адзіны фіксаваны фармат у архітэктурнай рэдакцыі не ўсталяваны. |
Праверка якасці
Кожны профіль правяраецца адносна дакладнага зыходнага выпуску на публічных, сінтэтычных і спецыяльна падрыхтаваных задачах: код, матэматыка, доўгі кантэкст, інструменты і строгі JSON. Карыстальніцкія дыялогі не выкарыстоўваюцца для навучання або каліброўкі.
Праверка ахоплівае якасць выніку, памяць, хуткасць і карэктнасць функцый API. Нізкая разраднасць дапускаецца толькі для прыдатных задач. Павышэнне разраднасці ўжо апублікаваных нізкабітных вагаў не вяртае страчаную інфармацыю. Змена reasoning_effort з'яўляецца самастойнай наладай і не выдаецца за эфект квантавання.
Шлях запыту
Абароненае злучэнне → праверка ключа, падпіскі і вольнага слота → вызначэнне патрабаванняў → выбар профілю выбранай мадэлі → прызначэнне гатовай рэплікі → струменевы адказ → вызваленне слота і ачыстка часовага змесціва.
Лагічная аперацыя мае request_id, кожная вылічальная спроба мае attempt_id. Да пачатку выдачы дапускаецца паўтор на сумяшчальнай рэпліцы ў межах агульнага тэрміну. Пасля пачатку патоку пачатак аднаго адказу не склейваецца з працягам новай генерацыі. Перапынены паток павінен лічыцца незавершаным у кліенце.
Разумнае размеркаванне
Маршрутызатар улічвае кантэкст, выявы, інструменты, фармат адказу, складанасць задачы, даступную памяць, чаргу, стан рэплікі і тэрмін выдзялення рэсурсаў. Код, матэматыка, строгія схемы, інструменты і нявызначаныя задачы атрымліваюць прыярытэт якасці. Кароткае пытанне не абавязкова простае.
Кошт улічваецца толькі сярод прыдатных маршрутаў. На час аперацыі фіксуюцца версія вагаў і дазволеныя функцыі. Несумяшчальны сервер выключаецца да прызначэння. Калі прыдатнай ёмістасці няма, магчымае чаканне ў межах унутранага бюджэту або відавочная памылка часовай недаступнасці; іншая мадэль непрыкметна не падстаўляецца.
Устойлівасць і аднаўленне
Стабільныя групы падтрымліваюць асноўную працу і аднаўленне. Дадатковыя перарывістыя групы павялічваюць ёмістасць. Пры папярэджанні аб адкліканні сервер перастае прымаць новыя аперацыі, а незавершаныя задачы апрацоўваюцца ў межах зыходнага тэрміну. Страта крытычнага паскаральніка выключае ўсю залежную рэпліку.
Падрыхтаваная рэпліка праходзіць загрузку вагаў, прагрэў і праверку гатоўнасці. Незалежныя групы адмоваў памяншаюць уплыў адной аварыі. Паўторныя вылічэнні могуць павялічыць затрымку. Архітэктура аднаўлення не азначае гарантаваную даступнасць кожнай мадэлі 24/7.
Бяспека інфраструктуры
Знешняя перадача абароненая TLS. Міжсэрвісныя сувязі выкарыстоўваюць праверку ідэнтычнасці і mTLS. Правы доступу выдаюцца паводле службовай неабходнасці. Ключы, акаўнты, праекты і вобласці кэша ізаляваныя. API-сакрэты і целы запытаў не павінны трапляць у журналы або рэзервовыя копіі.
Абарона злучэння адрозніваецца ад абароны даных падчас вылічэнняў. Арэндаванае абсталяванне мае ўласную мяжу даверу: нельга абяцаць апаратна абароненае выкананне на любым паскаральніку. Пры страце кантролю вузел выключаецца, яго паўнамоцтвы адклікаюцца, а вяртанне патрабуе праверкі і ачысткі.
Выдаленне запытаў і часовы кэш
Rate Cloud не стварае пастаянную гісторыю тэкстаў запытаў і адказаў і не навучае мадэлі на даных карыстальнікаў. Змесціва апрацоўваецца ў часовай памяці. Нарматыў ачысткі даступных кіраваных прыкладных буфераў: да 5 секунд пасля паспяховай перадачы; да 30 секунд пасля канчатковай памылкі, адмены або разрыву злучэння.
Ізаляваны вылічальны KV-кэш мае асобны тэрмін: да 5 хвілін без паўторнага выкарыстання і да 15 хвілін абсалютнага ўзросту. Пасля заканчэння тэрміну блок выключаецца з новых траплянняў; аперацыя, якая ўжо выкарыстоўвае яго, можа завяршыцца ў межах свайго дэдлайну. Пасля вызвалення апошняй спасылкі памяць ачышчаецца. Кэш не запісваецца на пастаянны дыск і не ўваходзіць у здымкі.
Ключ сумяшчальнасці ўключае акаўнт, мадэль, рэвізію вагаў, квантаванне, токенізатар, шаблон дыялогу і сістэмныя інструкцыі. Індэкс абараняецца HMAC. Карыстальнік не можа выбраць чужую вобласць кэша. Профіль без кэша паміж запытамі задаецца палітыкай апрацоўкі праекта. Гісторыя ў кліенцкай праграме кіруецца самой праграмай.
Тэхнічныя метаданыя ўключаюць ідэнтыфікатары, мадэль, профіль, час, працягласць, usage, стан слотаў і коды памылак. Падрабязныя запісы выдаляюцца праз 30 дзён. У іх няма промптаў, адказаў, аргументаў інструментаў, файлаў і токенаў аўтарызацыі. Даныя акаўнта, плацяжоў і добраахвотных зваротаў у падтрымку маюць асобныя мэты і тэрміны захоўвання.
Даступнасць і кампенсацыя
Даступнасць мадэляў 24 гадзіны на суткі, 7 дзён на тыдзень не гарантуецца. Калі ўся сістэма цалкам недаступная бесперапынна больш за 4 гадзіны і запыты вяртаюць HTTP 503, прадугледжана падаўжэнне аплачаных падпісак: тэрмін 3 дні атрымлівае 12 гадзін, тэрмін 7 дзён атрымлівае 1 суткі, тэрмін 30 дзён атрымлівае 3 дні.
Правіла датычыцца толькі поўнага прастою сістэмы з HTTP 503. Асобныя памылкі мадэлі, павольны адказ, абмежаванні паралельнасці і памылкі з іншымі кодамі не з'яўляюцца такой падставай. Для праверкі інцыдэнту звярніцеся ў падтрымку з часам і ідэнтыфікатарамі аперацый, без API-сакрэту і змесціва запытаў. Абавязковыя правы карыстальніка захоўваюцца.
Версіі і крытэрыі рэалізацыі
Для прыёмкі правяраюцца захаванне выбранай мадэлі, прыярытэт якасці, аднаўленне ў зыходным дэдлайне, ізаляцыя кэша, выдаленне змесціва, абарона злучэнняў і адсутнасць тэкстаў у аналітыцы. Змены кантрактаў API, кэша і профіляў павінны ўзгадняцца паміж дакументацыяй, кабінетам і ўмовамі.