Продукт и неограничен план
Абонаментът предоставя достъп до избрания модел за 3, 7 или 30 дни без обща квота за входящи и изходящи токени. Всеки абонамент включва четири паралелни заявки. Ключовете на акаунта използват общ пул от слотове за съответния модел. След приключване на операцията слотът се освобождава.
Rate Cloud управлява разполагането на теглата, двигателите за изпълнение, профилите за точност и разпределянето на заявките. Оборудването се наема от корпоративни собственици. Свободният капацитет на техните клъстери допълва стабилния резерв. Неограниченият план се отнася до токените за периода: контекстът, времето за една операция, паралелността и защитните ограничения остават крайни.
Сървъри и изчисления
Архитектурата използва платформите Huawei Atlas и ускорителите Ascend: Atlas 800I A2 и A3 за големи модели, Atlas 900 A2 PoD и A3 SuperPoD за разпределени групи. Atlas 500 и 500 A2 са предназначени за малки служебни задачи; Atlas 800 с Atlas 300I Duo представлява отделен клас съвместимост.
Atlas 800I A2 съдържа 8 NPU с по 64 GB. Atlas 800I A3 съдържа 8 физически NPU с по 128 GB, представени като 16 логически устройства. Това са две представяния на една и съща памет и не бива да се събират. Поддръжката на всеки модел се проверява отделно. Между площадките се прехвърлят цели заявки; тясно свързаните изчисления на една реплика използват съвместима локална мрежа.
Модели и квантизация
Един и същ модел е подготвен в няколко варианта на квантизация. Например GLM 5.3 може да изпълнява различни заявки в профил за качество, балансиран или икономичен профил. Интелигентната система оценява задачата и сама избира подходящия вариант на същия модел. Потребителят трябва само да избере модел: не е нужно ръчно да превключва битовата дълбочина.
Профилът за качество използва проверен оригинален формат, W8A8 или друга разрешена конфигурация. Балансираният профил съчетава точността на компонентите, например 4 и 8 бита с ефективна средна битова дълбочина около 6 бита. Това не е обещание за универсален INT6. Икономичният профил използва проверени W4A16, W4A8 или MXFP4 на същия модел. Наличността на профила зависи от оборудването и проверката на качеството.
Представете си числата на модела като стойности, записани с различна точност. Компактният запис заема по-малко памет, но може да повлияе на резултата. Затова простото търсене на данни може да се насочи към проверен компактен вариант, а сложният код, математиката и работата с инструменти към профил за качество. При съмнение системата избира качеството. Flash и Pro остават отделни модели и не се заместват взаимно.
| Модел | Оригинално издание | Варианти на един модел: системата избира за заявката |
|---|---|---|
| GLM 5.3 | zai-org/GLM-5.3 / GLM-5.3-BF16 | Оригинален формат; проверени W8A8C8 или MXFP4 на съвместимо оборудване. |
| GLM 5.3 Flash | zai-org/GLM-5.3-Flash / BF16 | W8A8; за A3 и 950DT се използват различни хардуерни варианти, включително MXFP8. |
| DeepSeek V4 Pro | deepseek-ai/DeepSeek-V4-Pro-0813 | Нативни MXFP8 и MXFP4; подготвен W4A8 при потвърдена съвместимост. |
| DeepSeek V4.1 Flash | deepseek-ai/DeepSeek-V4.1-Flash-1017 | Нативни MXFP4, FP8 и по-точни компоненти; адаптация на W8A8 за A2/A3 с отделно разполагане на Engram. |
| Qwen 3.8 Max | Qwen/Qwen3.8-2.4T-A95B | Проверени профили за качество и икономия на същия модел. Единен фиксиран формат не е установен в архитектурната редакция. |
Проверка на качеството
Всеки профил се проверява спрямо точното оригинално издание чрез публични, синтетични и специално подготвени задачи: код, математика, дълъг контекст, инструменти и строг JSON. Потребителските диалози не се използват за обучение или калибриране.
Проверката обхваща качеството на резултата, паметта, скоростта и коректността на функциите на API. Ниската битова дълбочина се допуска само за подходящи задачи. Повишаването на битовата дълбочина на вече публикувани нискобитови тегла не връща загубената информация. Промяната на reasoning_effort е самостоятелна настройка и не се представя като ефект от квантизацията.
Път на заявката
Защитена връзка → проверка на ключа, абонамента и свободния слот → определяне на изискванията → избор на профил на избрания модел → задаване на готова реплика → потоков отговор → освобождаване на слота и изчистване на временното съдържание.
Логическата операция има request_id, а всеки изчислителен опит има attempt_id. Преди началото на потока е допустим повторен опит на съвместима реплика в рамките на общия срок. След началото на потока началото на един отговор не се слепва с продължение на ново генериране. Прекъснатият поток трябва да се счита за незавършен от клиента.
Интелигентно разпределение
Маршрутизаторът отчита контекста, изображенията, инструментите, формата на отговора, сложността на задачата, наличната памет, опашката, състоянието на репликата и срока за разпределяне на ресурси. Кодът, математиката, строгите схеми, инструментите и неопределените задачи получават приоритет за качество. Краткият въпрос не е непременно лесен.
Цената се отчита само сред подходящите маршрути. За времето на операцията се фиксират версията на теглата и разрешените функции. Несъвместим сървър се изключва преди задаването. Ако няма подходящ капацитет, е възможно изчакване в рамките на вътрешния бюджет или ясна грешка за временна недостъпност; друг модел не се подменя незабелязано.
Устойчивост и възстановяване
Стабилните групи поддържат основната работа и възстановяването. Допълнителните прекъсваеми групи увеличават капацитета. При предупреждение за оттегляне сървърът спира да приема нови операции, а незавършените задачи се обработват в рамките на първоначалния срок. Загубата на критичен ускорител изключва цялата зависима реплика.
Подготвената реплика преминава през зареждане на теглата, загряване и проверка за готовност. Независимите групи за отказ намаляват влиянието на една авария. Повторните изчисления могат да увеличат забавянето. Архитектурата за възстановяване не означава гарантирана наличност на всеки модел 24/7.
Сигурност на инфраструктурата
Външното предаване е защитено с TLS. Междусервизните връзки използват проверка на идентичността и mTLS. Правата за достъп се предоставят според служебната необходимост. Ключовете, акаунтите, проектите и областите на кеша са изолирани. API тайните и телата на заявките не трябва да попадат в журналите или резервните копия.
Защитата на връзката се различава от защитата на данните по време на изчисленията. Наетото оборудване има собствена граница на доверие: не може да се обещае хардуерно защитено изпълнение на всеки ускорител. При загуба на контрол възелът се изключва, правомощията му се отнемат, а връщането му изисква проверка и изчистване.
Изтриване на заявки и временен кеш
Rate Cloud не създава постоянна история на текстовете на заявките и отговорите и не обучава модели с потребителски данни. Съдържанието се обработва във временната памет. Нормативен срок за изчистване на достъпните управлявани приложни буфери: до 5 секунди след успешно предаване; до 30 секунди след окончателна грешка, отказ или прекъсване на връзката.
Изолираният изчислителен KV кеш има отделен срок: до 5 минути без повторно използване и до 15 минути абсолютна възраст. След изтичането му блокът се изключва от нови попадения; операция, която вече го използва, може да завърши в рамките на крайния си срок. След освобождаването на последната препратка паметта се изчиства. Кешът не се записва на постоянен диск и не влиза в моментни снимки.
Ключът за съвместимост включва акаунта, модела, ревизията на теглата, квантизацията, токенизатора, шаблона на диалога и системните инструкции. Индексът е защитен с HMAC. Потребителят не може да избере чужда област на кеша. Профилът без кеш между заявките се задава от правилата за обработка на проекта. Историята в клиентската програма се управлява от самата програма.
Техническите метаданни включват идентификатори, модел, профил, време, продължителност, usage, състояние на слотовете и кодове за грешки. Подробните записи се изтриват след 30 дни. В тях няма промптове, отговори, аргументи на инструменти, файлове и токени за авторизация. Данните за акаунта, плащанията и доброволните сигнали до поддръжката имат отделни цели и срокове за съхранение.
Наличност и компенсация
Наличността на моделите 24 часа на ден, 7 дни в седмицата не е гарантирана. Ако цялата система е напълно недостъпна непрекъснато повече от 4 часа и заявките връщат HTTP 503, се предвижда удължаване на платените абонаменти: срок от 3 дни получава 12 часа, срок от 7 дни получава 1 денонощие, срок от 30 дни получава 3 дни.
Правилото се отнася само за пълен престой на системата с HTTP 503. Отделните грешки на модел, бавният отговор, ограниченията на паралелността и грешките с други кодове не са такова основание. За проверка на инцидента се обърнете към поддръжката с времето и идентификаторите на операциите, без API тайна и съдържание на заявки. Задължителните права на потребителя се запазват.
Версии и критерии за реализация
За приемане се проверяват запазването на избрания модел, приоритетът на качеството, възстановяването в първоначалния краен срок, изолацията на кеша, изтриването на съдържанието, защитата на връзките и липсата на текстове в аналитиката. Промените в договорите за API, кеша и профилите трябва да се съгласуват между документацията, кабинета и условията.