Як ми працюємо

Продукт і безліміт

Підписка надає доступ до вибраної моделі на 3, 7 або 30 днів без сукупної квоти вхідних і вихідних токенів. Кожна підписка включає чотири паралельні запити. Ключі облікового запису використовують спільний пул слотів відповідної моделі. Після завершення операції слот звільняється.

Rate Cloud керує розміщенням ваг, рушіями виконання, профілями точності та розподілом запитів. Обладнання орендується у корпоративних власників. Вільна потужність їхніх кластерів доповнює стабільний резерв. Безліміт стосується токенів за період: контекст, час однієї операції, паралельність і захисні обмеження залишаються скінченними.

Сервери й обчислення

Архітектура використовує платформи Huawei Atlas і прискорювачі Ascend: Atlas 800I A2 та A3 для великих моделей, Atlas 900 A2 PoD та A3 SuperPoD для розподілених груп. Atlas 500 і 500 A2 призначені для невеликих службових завдань; Atlas 800 з Atlas 300I Duo представляє окремий клас сумісності.

Atlas 800I A2 містить 8 NPU по 64 GB. Atlas 800I A3 містить 8 фізичних NPU по 128 GB, представлених як 16 логічних пристроїв. Це два представлення однієї пам’яті, їх не можна додавати. Підтримку кожної моделі перевіряють окремо. Між майданчиками перемикаються цілі запити; тісно пов’язані обчислення однієї репліки використовують сумісну локальну мережу.

Моделі та квантування

Ту саму модель підготовлено в кількох варіантах квантування. Наприклад, GLM 5.3 може обробляти різні запити в профілі якості, збалансованому або економному профілі. Розумна система оцінює завдання й сама вибирає відповідний варіант цієї самої моделі. Користувачеві достатньо вибрати модель: вручну перемикати розрядність не потрібно.

Профіль якості використовує перевірений вихідний формат, W8A8 або іншу допущену конфігурацію. Збалансований профіль поєднує точність компонентів, наприклад 4 і 8 бітів з ефективною середньою розрядністю близько 6 бітів. Це не обіцянка універсального INT6. Економний профіль використовує перевірені W4A16, W4A8 або MXFP4 тієї самої моделі. Доступність профілю залежить від обладнання та перевірки якості.

Уявіть числа моделі як значення, записані з різною точністю. Компактний запис займає менше пам’яті, але може впливати на результат. Тому простий пошук даних можна спрямувати до перевіреного компактного варіанта, а складний код, математику й роботу з інструментами до профілю якості. Якщо є сумніви, система вибирає якість. Flash і Pro залишаються окремими моделями й не підміняють одна одну.

Перевірка якості

Кожен профіль перевіряється щодо точного вихідного випуску на публічних, синтетичних і спеціально підготовлених завданнях: код, математика, довгий контекст, інструменти та строгий JSON. Користувацькі діалоги не використовуються для навчання або калібрування.

Перевірка охоплює якість результату, пам’ять, швидкість і коректність функцій API. Низька розрядність допускається лише для придатних завдань. Підвищення розрядності вже опублікованих низькорозрядних ваг не повертає втраченої інформації. Зміна reasoning_effort є самостійним налаштуванням і не видається за ефект квантування.

Шлях запиту

Захищене з’єднання → перевірка ключа, підписки та вільного слота → визначення вимог → вибір профілю вибраної моделі → призначення готової репліки → потокова відповідь → звільнення слота й очищення тимчасового вмісту.

Логічна операція має request_id, кожна обчислювальна спроба має attempt_id. До початку видачі допускається повтор на сумісній репліці в межах загального строку. Після початку потоку початок однієї відповіді не склеюється з продовженням нової генерації. Перерваний потік у клієнті має вважатися незавершеним.

Розумний розподіл

Маршрутизатор враховує контекст, зображення, інструменти, формат відповіді, складність завдання, доступну пам’ять, чергу, стан репліки та строк виділення ресурсів. Код, математика, строгі схеми, інструменти й невизначені завдання отримують пріоритет якості. Коротке запитання не обов’язково є простим.

Вартість враховується лише серед придатних маршрутів. На час операції фіксуються версія ваг і дозволені функції. Несумісний сервер виключається до призначення. Якщо відповідної ємності немає, можливе очікування в межах внутрішнього бюджету або явна помилка тимчасової недоступності; іншу модель непомітно не підставляють.

Стійкість і відновлення

Стабільні групи підтримують основну роботу й відновлення. Додаткові переривчасті групи збільшують ємність. Після попередження про відкликання сервер перестає приймати нові операції, а незавершені завдання обробляються в межах початкового строку. Втрата критичного прискорювача виключає всю залежну репліку.

Підготовлена репліка проходить завантаження ваг, прогрівання та перевірку готовності. Незалежні групи відмов зменшують вплив однієї аварії. Повторні обчислення можуть збільшити затримку. Архітектура відновлення не означає гарантованої доступності кожної моделі 24/7.

Безпека інфраструктури

Зовнішнє передавання захищене TLS. Міжсервісні зв’язки використовують перевірку ідентичності та mTLS. Права доступу надаються відповідно до службової потреби. Ключі, облікові записи, проєкти й області кешу ізольовані. API-секрети й тіла запитів не повинні потрапляти до журналів або резервних копій.

Захист з’єднання відрізняється від захисту даних під час обчислень. Орендоване обладнання має власну межу довіри: не можна обіцяти апаратно захищене виконання на будь-якому прискорювачі. У разі втрати контролю вузол виключається, його повноваження відкликаються, а повернення вимагає перевірки й очищення.

Видалення запитів і тимчасовий кеш

Rate Cloud не створює постійної історії текстів запитів і відповідей і не навчає моделі на даних користувачів. Вміст обробляється у тимчасовій пам’яті. Норматив очищення доступних керованих прикладних буферів: до 5 секунд після успішного передавання; до 30 секунд після остаточної помилки, скасування або розриву з’єднання.

Ізольований обчислювальний KV-кеш має окремий строк: до 5 хвилин без повторного використання й до 15 хвилин абсолютного віку. Після завершення строку блок виключається з нових влучань; операція, яка вже його використовує, може завершитися в межах свого дедлайну. Після звільнення останнього посилання пам’ять очищується. Кеш не записується на постійний диск і не входить до знімків.

Ключ сумісності містить обліковий запис, модель, ревізію ваг, квантування, токенізатор, шаблон діалогу та системні інструкції. Індекс захищається HMAC. Користувач не може вибрати чужу область кешу. Профіль без кешу між запитами визначається політикою обробки проєкту. Історією в клієнтській програмі керує сама програма.

Технічні метадані містять ідентифікатори, модель, профіль, час, тривалість, usage, стан слотів і коди помилок. Детальні записи видаляються через 30 днів. У них немає промптів, відповідей, аргументів інструментів, файлів і токенів авторизації. Дані облікового запису, платежів і добровільних звернень до підтримки мають окремі цілі та строки зберігання.

Доступність і компенсація

Доступність моделей 24 години на добу, 7 днів на тиждень не гарантується. Якщо вся система повністю недоступна безперервно понад 4 години й запити повертають HTTP 503, передбачено продовження оплачених підписок: строк 3 дні отримує 12 годин, строк 7 днів отримує 1 добу, строк 30 днів отримує 3 дні.

Правило стосується лише повного простою системи з HTTP 503. Окремі помилки моделі, повільна відповідь, обмеження паралельності й помилки з іншими кодами не є такою підставою. Щоб перевірити інцидент, зверніться до підтримки із часом та ідентифікаторами операцій, без API-секрету й вмісту запитів. Обов’язкові права користувача зберігаються.

Версії та критерії реалізації

Для приймання перевіряються збереження вибраної моделі, пріоритет якості, відновлення в початковому дедлайні, ізоляція кешу, видалення вмісту, захист з’єднань і відсутність текстів в аналітиці. Зміни контрактів API, кешу й профілів мають узгоджуватися між документацією, кабінетом і умовами.