Produit et usage illimité
L’abonnement donne accès au modèle choisi pendant 3, 7 ou 30 jours, sans quota global de jetons d’entrée ou de sortie. Chaque abonnement inclut quatre requêtes simultanées. Les clés du compte utilisent un pool partagé de créneaux pour le modèle correspondant. Le créneau est libéré à la fin de l’opération.
Rate Cloud gère le placement des poids, les moteurs d’exécution, les profils de précision et la distribution des requêtes. Le matériel est loué auprès de propriétaires professionnels. La capacité disponible de leurs clusters complète la réserve stable. L’usage illimité concerne les jetons sur la période ; le contexte, la durée de chaque opération, la simultanéité et les limites de protection restent finis.
Serveurs et calcul
L’architecture utilise les plateformes Huawei Atlas et les accélérateurs Ascend : Atlas 800I A2 et A3 pour les grands modèles, Atlas 900 A2 PoD et A3 SuperPoD pour les groupes distribués. Atlas 500 et 500 A2 conviennent aux petites tâches de service ; Atlas 800 avec Atlas 300I Duo forme une classe de compatibilité distincte.
Atlas 800I A2 contient 8 NPU de 64 GB chacune. Atlas 800I A3 contient 8 NPU physiques de 128 GB, représentées comme 16 appareils logiques. Il s’agit de deux représentations de la même mémoire, elles ne doivent pas être additionnées. La prise en charge est vérifiée séparément pour chaque modèle. Les requêtes entières basculent entre les sites ; les calculs étroitement liés d’une réplique utilisent un réseau local compatible.
Modèles et quantification
Le même modèle est préparé en plusieurs variantes de quantification. Par exemple, GLM 5.3 peut traiter différentes requêtes dans un profil qualité, équilibré ou économique. Le système intelligent évalue la tâche et sélectionne une variante appropriée de ce même modèle. L’utilisateur n’a qu’à choisir le modèle ; il n’a pas à changer manuellement le nombre de bits.
Le profil qualité utilise le format d’origine vérifié, W8A8 ou une autre configuration approuvée. Le profil équilibré combine la précision des composants, par exemple 4 et 8 bits avec une moyenne effective d’environ 6 bits. Il ne promet pas un INT6 universel. Le profil économique utilise W4A16, W4A8 ou MXFP4 vérifiés du même modèle. Sa disponibilité dépend du matériel et de la vérification qualité.
Imaginez les nombres du modèle comme des valeurs écrites avec une précision différente. Une représentation compacte utilise moins de mémoire, mais peut influer sur le résultat. Une recherche simple peut donc être dirigée vers une variante compacte vérifiée, tandis que le code complexe, les mathématiques et les outils utilisent un profil qualité. En cas de doute, le système choisit la qualité. Flash et Pro restent des modèles distincts et ne se remplacent pas.
| Modèle | Version d’origine | Variantes d’un même modèle : le système choisit pour chaque requête |
|---|---|---|
| GLM 5.3 | zai-org/GLM-5.3 / GLM-5.3-BF16 | Format d’origine ; W8A8C8 ou MXFP4 vérifiés sur du matériel compatible. |
| GLM 5.3 Flash | zai-org/GLM-5.3-Flash / BF16 | W8A8 ; A3 et 950DT utilisent des variantes matérielles différentes, dont MXFP8. |
| DeepSeek V4 Pro | deepseek-ai/DeepSeek-V4-Pro-0813 | MXFP8 et MXFP4 natifs ; W4A8 préparé lorsque la compatibilité est confirmée. |
| DeepSeek V4.1 Flash | deepseek-ai/DeepSeek-V4.1-Flash-1017 | MXFP4, FP8 natifs et composants plus précis ; adaptation W8A8 pour A2/A3 avec placement Engram séparé. |
| Qwen 3.8 Max | Qwen/Qwen3.8-2.4T-A95B | Profils qualité et économie vérifiés du même modèle. Cette édition de l’architecture ne définit pas de format fixe unique. |
Vérification qualité
Chaque profil est vérifié par rapport à la version d’origine exacte avec des tâches publiques, synthétiques et spécialement préparées : code, mathématiques, contexte long, outils et JSON strict. Les conversations utilisateur ne servent ni à l’entraînement ni au calibrage.
La vérification porte sur la qualité du résultat, la mémoire, la vitesse et le bon fonctionnement de l’API. Un faible nombre de bits n’est autorisé que pour les tâches adaptées. Augmenter le nombre de bits de poids à faible précision déjà publiés ne restaure pas les informations perdues. Modifier reasoning_effort est un réglage distinct et n’est pas présenté comme un effet de quantification.
Parcours de la requête
Connexion sécurisée → vérifier la clé, l’abonnement et le créneau libre → déterminer les exigences → choisir un profil du modèle sélectionné → affecter une réplique prête → transmettre la réponse en continu → libérer le créneau et effacer le contenu temporaire.
Une opération logique a un request_id ; chaque tentative de calcul a un attempt_id. Avant le début de la sortie, une nouvelle tentative sur une réplique compatible est autorisée dans le délai global. Après le début du flux, le début d’une réponse n’est pas raccordé à la suite d’une nouvelle génération. Le client doit considérer un flux interrompu comme incomplet.
Distribution intelligente
Le routeur tient compte du contexte, des images, des outils, du format de réponse, de la complexité de la tâche, de la mémoire disponible, de la file, de l’état de la réplique et du délai d’allocation des ressources. Le code, les mathématiques, les schémas stricts, les outils et les tâches incertaines sont prioritaires pour la qualité. Une question courte n’est pas forcément simple.
Le coût n’est pris en compte que parmi les routes adaptées. La version des poids et les fonctions autorisées sont fixées pour la durée de l’opération. Les serveurs incompatibles sont exclus avant affectation. Si aucune capacité adaptée n’est disponible, il peut y avoir une attente dans le budget interne ou une erreur explicite d’indisponibilité temporaire ; aucun autre modèle n’est substitué à l’insu de l’utilisateur.
Résilience et reprise
Les groupes stables assurent le fonctionnement principal et la reprise. Des groupes interruptibles supplémentaires augmentent la capacité. À l’avertissement de révocation, le serveur cesse d’accepter de nouvelles opérations et les tâches en cours continuent dans leur délai initial. La perte d’un accélérateur critique exclut toute la réplique qui en dépend.
Une réplique préparée passe par le chargement des poids, la mise en chauffe et les contrôles de disponibilité. Des groupes de panne indépendants réduisent l’impact d’un incident. Relancer les calculs peut augmenter la latence. L’architecture de reprise ne garantit pas la disponibilité 24/7 de chaque modèle.
Sécurité de l’infrastructure
Les transferts externes sont protégés par TLS. Les connexions interservices utilisent la vérification d’identité et mTLS. Les droits d’accès sont accordés selon les besoins du travail. Les clés, comptes, projets et espaces de cache sont isolés. Les secrets d’API et les corps des requêtes ne doivent pas figurer dans les journaux ni les sauvegardes.
La sécurité de la connexion est différente de la protection des données pendant le calcul. Le matériel loué a sa propre limite de confiance : l’exécution protégée par le matériel ne peut pas être promise sur tous les accélérateurs. En cas de perte de contrôle, le nœud est exclu et son autorité révoquée ; son retour exige une vérification et un nettoyage.
Suppression des requêtes et cache temporaire
Rate Cloud ne crée pas d’historique permanent du texte des requêtes et réponses et n’entraîne pas les modèles sur les données des utilisateurs. Le contenu est traité dans la mémoire temporaire. L’objectif de nettoyage des tampons applicatifs gérés disponibles est de 5 secondes maximum après une remise réussie et de 30 secondes maximum après une erreur définitive, une annulation ou une perte de connexion.
Le cache KV de calcul isolé a une durée distincte : jusqu’à 5 minutes sans réutilisation et 15 minutes d’âge absolu. À expiration, le bloc est exclu des nouveaux accès au cache ; une opération qui l’utilise déjà peut se terminer dans son délai. La mémoire est effacée après libération de la dernière référence. Le cache n’est pas écrit sur un disque permanent ni inclus dans les instantanés.
La clé de compatibilité comprend le compte, le modèle, la révision des poids, la quantification, le tokenizer, le modèle de conversation et les instructions système. L’index est protégé par HMAC. L’utilisateur ne peut pas sélectionner l’espace de cache d’un autre. La politique de traitement du projet définit le profil sans cache entre requêtes. L’historique d’une application cliente est géré par cette application.
Les métadonnées techniques comprennent les identifiants, le modèle, le profil, l’heure, la durée, l’usage, l’état des créneaux et les codes d’erreur. Les enregistrements détaillés sont supprimés après 30 jours. Ils ne contiennent ni prompts, réponses, arguments d’outils, fichiers ni jetons d’autorisation. Les données de compte, de paiement et les demandes de support volontaires ont des finalités et durées de conservation distinctes.
Disponibilité et compensation
La disponibilité des modèles 24 heures sur 24, 7 jours sur 7 n’est pas garantie. Si l’ensemble du système est totalement indisponible pendant plus de 4 heures consécutives et que les requêtes renvoient HTTP 503, les abonnements payants sont prolongés : 12 heures pour une durée de 3 jours, 1 jour pour 7 jours et 3 jours pour 30 jours.
Cette règle s’applique uniquement à une interruption totale du système avec HTTP 503. Les erreurs d’un modèle individuel, une réponse lente, les limites de simultanéité et les autres codes d’erreur ne remplissent pas la condition. Pour vérifier l’incident, contactez le support avec l’heure et les identifiants d’opération, sans secret d’API ni contenu de requête. Les droits impératifs de l’utilisateur restent valables.
Versions et critères de mise en œuvre
La réception vérifie le maintien du modèle choisi, la priorité à la qualité, la reprise dans le délai initial, l’isolation du cache, la suppression du contenu, la protection des connexions et l’absence de texte dans l’analytique. Les modifications des contrats d’API, de cache et de profils doivent être cohérentes dans la documentation, le tableau de bord et les conditions.