Продукт и безлимит
Подписка даёт доступ к выбранной модели на 3, 7 или 30 дней без суммарной квоты входных и выходных токенов. Каждая подписка включает четыре параллельных запроса. Ключи аккаунта используют общий пул слотов соответствующей модели. После завершения операции слот освобождается.
Rate Cloud управляет размещением весов, движками выполнения, профилями точности и распределением запросов. Оборудование арендуется у корпоративных владельцев. Свободная мощность их кластеров дополняет стабильный резерв. Безлимит относится к токенам за период: контекст, время одной операции, параллельность и защитные ограничения остаются конечными.
Серверы и вычисления
Архитектура использует платформы Huawei Atlas и ускорители Ascend: Atlas 800I A2 и A3 для больших моделей, Atlas 900 A2 PoD и A3 SuperPoD для распределённых групп. Atlas 500 и 500 A2 предназначены для небольших служебных задач; Atlas 800 с Atlas 300I Duo представляет отдельный класс совместимости.
Atlas 800I A2 содержит 8 NPU по 64 GB. Atlas 800I A3 содержит 8 физических NPU по 128 GB, представленных как 16 логических устройств. Это два представления одной памяти, их нельзя складывать. Поддержка каждой модели проверяется отдельно. Между площадками переключаются целые запросы; тесно связанные вычисления одной реплики используют совместимую локальную сеть.
Модели и квантование
Одна и та же модель подготовлена в нескольких вариантах квантования. Например, GLM 5.3 может выполнять разные запросы в профиле качества, сбалансированном или экономичном профиле. Умная система оценивает задачу и сама выбирает подходящий вариант этой же модели. Пользователю достаточно выбрать модель: переключать битность вручную не нужно.
Профиль качества использует проверенный исходный формат, W8A8 или другую допущенную конфигурацию. Сбалансированный профиль сочетает точность компонентов, например 4 и 8 бит с эффективной средней разрядностью около 6 бит. Это не обещание универсального INT6. Экономичный профиль использует проверенные W4A16, W4A8 или MXFP4 той же модели. Доступность профиля зависит от оборудования и проверки качества.
Представьте числа модели как значения с разной точностью записи. Компактная запись занимает меньше памяти, но может влиять на результат. Поэтому простой поиск данных можно направить в проверенный компактный вариант, а сложный код, математику и работу с инструментами в профиль качества. При сомнении система выбирает качество. Flash и Pro остаются отдельными моделями и не подменяют друг друга.
| Модель | Исходный выпуск | Варианты одной модели: система выбирает под запрос |
|---|---|---|
| GLM 5.3 | zai-org/GLM-5.3 / GLM-5.3-BF16 | Исходный формат; проверенные W8A8C8 или MXFP4 на совместимом оборудовании. |
| GLM 5.3 Flash | zai-org/GLM-5.3-Flash / BF16 | W8A8; для A3 и 950DT используются разные аппаратные варианты, включая MXFP8. |
| DeepSeek V4 Pro | deepseek-ai/DeepSeek-V4-Pro-0813 | Нативные MXFP8 и MXFP4; подготовленный W4A8 при подтверждённой совместимости. |
| DeepSeek V4.1 Flash | deepseek-ai/DeepSeek-V4.1-Flash-1017 | Нативные MXFP4, FP8 и более точные компоненты; адаптация W8A8 для A2/A3 с отдельным размещением Engram. |
| Qwen 3.8 Max | Qwen/Qwen3.8-2.4T-A95B | Проверенные профили качества и экономии той же модели. Единый фиксированный формат в архитектурной редакции не установлен. |
Проверка качества
Каждый профиль проверяется относительно точного исходного выпуска на публичных, синтетических и специально подготовленных задачах: код, математика, длинный контекст, инструменты и строгий JSON. Пользовательские диалоги не используются для обучения или калибровки.
Проверка охватывает качество результата, память, скорость и корректность функций API. Низкая разрядность допускается только для пригодных задач. Повышение разрядности уже опубликованных низкобитных весов не возвращает потерянную информацию. Изменение reasoning_effort является самостоятельной настройкой и не выдаётся за эффект квантования.
Путь запроса
Защищённое соединение → проверка ключа, подписки и свободного слота → определение требований → выбор профиля выбранной модели → назначение готовой реплики → потоковый ответ → освобождение слота и очистка временного содержимого.
Логическая операция имеет request_id, каждая вычислительная попытка имеет attempt_id. До начала выдачи допустим повтор на совместимой реплике в пределах общего срока. После начала потока начало одного ответа не склеивается с продолжением новой генерации. Прерванный поток должен считаться незавершённым в клиенте.
Умное распределение
Маршрутизатор учитывает контекст, изображения, инструменты, формат ответа, сложность задачи, доступную память, очередь, здоровье реплики и срок выделения ресурсов. Код, математика, строгие схемы, инструменты и неопределённые задачи получают приоритет качества. Короткий вопрос не обязательно является простым.
Стоимость учитывается только среди пригодных маршрутов. На время операции фиксируются версия весов и разрешённые функции. Несовместимый сервер исключается до назначения. Если подходящей ёмкости нет, возможны ожидание в пределах внутреннего бюджета или явная ошибка временной недоступности; другая модель незаметно не подставляется.
Устойчивость и восстановление
Стабильные группы поддерживают основную работу и восстановление. Дополнительные прерываемые группы увеличивают ёмкость. При предупреждении об отзыве сервер перестаёт принимать новые операции, а незавершённые задачи обрабатываются в пределах исходного срока. Потеря критического ускорителя исключает всю зависимую реплику.
Подготовленная реплика проходит загрузку весов, прогрев и проверку готовности. Независимые группы отказа снижают влияние одной аварии. Повтор вычислений может увеличить задержку. Архитектура восстановления не означает гарантированную доступность каждой модели 24/7.
Безопасность инфраструктуры
Внешняя передача защищена TLS. Межсервисные связи используют проверку идентичности и mTLS. Права доступа выдаются по служебной необходимости. Ключи, аккаунты, проекты и области кеша изолированы. API-секреты и тела запросов не должны попадать в журналы или резервные копии.
Защита соединения отличается от защиты данных во время вычислений. Арендованное оборудование имеет собственную границу доверия: нельзя обещать аппаратно защищённое выполнение на любом ускорителе. При потере управления узел исключается, его полномочия отзываются, а возврат требует проверки и очистки.
Удаление запросов и временный кеш
Rate Cloud не создаёт постоянную историю текстов запросов и ответов и не обучает модели на данных пользователей. Содержимое обрабатывается во временной памяти. Норматив очистки доступных управляемых прикладных буферов: до 5 секунд после успешной передачи; до 30 секунд после окончательной ошибки, отмены или разрыва соединения.
Изолированный вычислительный KV-кеш имеет отдельный срок: до 5 минут без повторного использования и до 15 минут абсолютного возраста. По истечении срока блок исключается из новых попаданий; уже использующая его операция может завершиться в пределах своего дедлайна. После освобождения последней ссылки память очищается. Кеш не записывается на постоянный диск и не входит в снапшоты.
Ключ совместимости включает аккаунт, модель, ревизию весов, квантование, токенизатор, шаблон диалога и системные инструкции. Индекс защищается HMAC. Пользователь не может выбрать чужую область кеша. Профиль без межзапросного кеша задаётся политикой обработки проекта. История в клиентской программе управляется самой программой.
Технические метаданные включают идентификаторы, модель, профиль, время, длительность, usage, состояние слотов и коды ошибок. Детальные записи удаляются через 30 дней. В них нет промптов, ответов, аргументов инструментов, файлов и токенов авторизации. Данные аккаунта, платежей и добровольных обращений поддержки имеют отдельные цели и сроки хранения.
Доступность и компенсация
Доступность моделей 24 часа в сутки, 7 дней в неделю не гарантируется. Если система полностью недоступна непрерывно более 4 часов и запросы возвращают HTTP 503, предусмотрено продление оплаченных подписок: срок 3 дня получает 12 часов, срок 7 дней получает 1 сутки, срок 30 дней получает 3 дня.
Правило относится только к полному простою системы с HTTP 503. Отдельные ошибки модели, медленный ответ, ограничения параллельности и ошибки других кодов не являются этим основанием. Для проверки инцидента обратитесь в поддержку с временем и идентификаторами операций, без API-секрета и содержимого запросов. Обязательные права пользователя сохраняются.
Версии и критерии реализации
Для приёмки проверяются сохранение выбранной модели, приоритет качества, восстановление в исходном дедлайне, изоляция кеша, удаление содержимого, защита соединений и отсутствие текстов в аналитике. Изменения контрактов API, кеша и профилей должны согласовываться между документацией, кабинетом и условиями.