Produkt i brak limitu
Subskrypcja zapewnia dostęp do wybranego modelu przez 3, 7 lub 30 dni bez łącznego limitu tokenów wejściowych i wyjściowych. Każda subskrypcja obejmuje cztery równoległe żądania. Klucze konta korzystają ze wspólnej puli slotów odpowiedniego modelu. Po zakończeniu operacji slot zostaje zwolniony.
Rate Cloud zarządza rozmieszczeniem wag, silnikami wykonawczymi, profilami dokładności i kierowaniem żądań. Sprzęt jest wynajmowany od właścicieli firmowych. Wolne moce ich klastrów uzupełniają stabilną rezerwę. Plan bez limitu dotyczy liczby tokenów w okresie: kontekst, czas pojedynczej operacji, współbieżność i ograniczenia ochronne pozostają skończone.
Serwery i obliczenia
Architektura wykorzystuje platformy Huawei Atlas i akceleratory Ascend: Atlas 800I A2 i A3 dla dużych modeli, Atlas 900 A2 PoD i A3 SuperPoD dla grup rozproszonych. Atlas 500 i 500 A2 są przeznaczone do mniejszych zadań usługowych; Atlas 800 z Atlas 300I Duo stanowi odrębną klasę zgodności.
Atlas 800I A2 zawiera 8 układów NPU o pojemności 64 GB każdy. Atlas 800I A3 zawiera 8 fizycznych układów NPU o pojemności 128 GB, przedstawionych jako 16 urządzeń logicznych. Są to dwa sposoby przedstawienia tej samej pamięci, nie należy ich sumować. Obsługa każdego modelu jest sprawdzana osobno. Między lokalizacjami przełączane są całe żądania; ściśle powiązane obliczenia jednej repliki korzystają ze zgodnej sieci lokalnej.
Modele i kwantyzacja
Ten sam model jest przygotowany w kilku wariantach kwantyzacji. Na przykład GLM 5.3 może obsługiwać różne żądania w profilu jakości, zrównoważonym albo ekonomicznym. Inteligentny system ocenia zadanie i sam wybiera odpowiedni wariant tego samego modelu. Użytkownik musi tylko wybrać model: ręczne przełączanie liczby bitów nie jest potrzebne.
Profil jakości korzysta ze sprawdzonego formatu źródłowego, W8A8 lub innej dopuszczonej konfiguracji. Profil zrównoważony łączy dokładność komponentów, na przykład 4 i 8 bitów, ze średnią efektywną około 6 bitów. Nie jest to obietnica uniwersalnego INT6. Profil ekonomiczny korzysta ze sprawdzonych formatów W4A16, W4A8 lub MXFP4 tego samego modelu. Dostępność profilu zależy od sprzętu i kontroli jakości.
Wyobraź sobie liczby modelu jako wartości zapisane z różną dokładnością. Zapis kompaktowy zajmuje mniej pamięci, ale może wpływać na wynik. Dlatego proste wyszukiwanie danych można skierować do sprawdzonego wariantu kompaktowego, a złożony kod, matematykę i pracę z narzędziami do profilu jakości. W razie wątpliwości system wybiera jakość. Flash i Pro pozostają osobnymi modelami i nie zastępują się wzajemnie.
| Model | Wydanie źródłowe | Warianty jednego modelu: system wybiera dla żądania |
|---|---|---|
| GLM 5.3 | zai-org/GLM-5.3 / GLM-5.3-BF16 | Format źródłowy; sprawdzone W8A8C8 lub MXFP4 na zgodnym sprzęcie. |
| GLM 5.3 Flash | zai-org/GLM-5.3-Flash / BF16 | W8A8; dla A3 i 950DT stosowane są różne warianty sprzętowe, w tym MXFP8. |
| DeepSeek V4 Pro | deepseek-ai/DeepSeek-V4-Pro-0813 | Natywne MXFP8 i MXFP4; przygotowane W4A8 przy potwierdzonej zgodności. |
| DeepSeek V4.1 Flash | deepseek-ai/DeepSeek-V4.1-Flash-1017 | Natywne MXFP4, FP8 i dokładniejsze komponenty; adaptacja W8A8 dla A2/A3 z odrębnym rozmieszczeniem Engram. |
| Qwen 3.8 Max | Qwen/Qwen3.8-2.4T-A95B | Sprawdzone profile jakości i oszczędności tego samego modelu. W wydaniu architektury nie ustalono jednego stałego formatu. |
Kontrola jakości
Każdy profil jest sprawdzany względem dokładnego wydania źródłowego w publicznych, syntetycznych i specjalnie przygotowanych zadaniach: kod, matematyka, długi kontekst, narzędzia i ścisły JSON. Dialogi użytkowników nie są używane do trenowania ani kalibracji.
Kontrola obejmuje jakość wyniku, pamięć, szybkość i poprawność funkcji API. Niska liczba bitów jest dopuszczana tylko dla odpowiednich zadań. Zwiększenie liczby bitów już opublikowanych wag niskobitowych nie przywraca utraconych informacji. Zmiana reasoning_effort jest osobnym ustawieniem i nie jest przedstawiana jako efekt kwantyzacji.
Ścieżka żądania
Bezpieczne połączenie → sprawdzenie klucza, subskrypcji i wolnego slotu → ustalenie wymagań → wybór profilu wybranego modelu → przydzielenie gotowej repliki → odpowiedź strumieniowa → zwolnienie slotu i wyczyszczenie tymczasowej treści.
Operacja logiczna ma request_id, a każda próba obliczeniowa ma attempt_id. Przed rozpoczęciem wysyłania dopuszczalna jest ponowna próba na zgodnej replice w ramach wspólnego terminu. Po rozpoczęciu strumienia początku jednej odpowiedzi nie łączy się z kontynuacją nowego generowania. Przerwany strumień klient powinien uznać za niezakończony.
Inteligentne rozdzielanie
Router uwzględnia kontekst, obrazy, narzędzia, format odpowiedzi, złożoność zadania, dostępną pamięć, kolejkę, stan repliki i termin przydzielenia zasobów. Kod, matematyka, ścisłe schematy, narzędzia i zadania niepewne otrzymują priorytet jakości. Krótkie pytanie nie musi być proste.
Koszt jest uwzględniany wyłącznie wśród odpowiednich tras. Na czas operacji ustala się wersję wag i dozwolone funkcje. Niezgodny serwer jest wykluczany przed przydzieleniem. Jeśli nie ma odpowiedniej pojemności, możliwe jest oczekiwanie w ramach budżetu wewnętrznego albo jawny błąd tymczasowej niedostępności; inny model nie jest podstawiany po cichu.
Odporność i odtwarzanie
Stabilne grupy zapewniają podstawowe działanie i odtwarzanie. Dodatkowe grupy przerywane zwiększają pojemność. Po ostrzeżeniu o wycofaniu serwer przestaje przyjmować nowe operacje, a niezakończone zadania są obsługiwane w pierwotnym terminie. Utrata krytycznego akceleratora wyłącza całą zależną replikę.
Przygotowana replika przechodzi ładowanie wag, rozgrzewanie i kontrolę gotowości. Niezależne grupy awarii zmniejszają wpływ pojedynczej awarii. Ponowne obliczenia mogą zwiększyć opóźnienie. Architektura odtwarzania nie oznacza gwarantowanej dostępności każdego modelu 24/7.
Bezpieczeństwo infrastruktury
Przekazywanie zewnętrzne jest chronione przez TLS. Połączenia między usługami wykorzystują weryfikację tożsamości i mTLS. Uprawnienia dostępu są przyznawane w niezbędnym zakresie służbowym. Klucze, konta, projekty i obszary pamięci podręcznej są odizolowane. Sekrety API i treść żądań nie mogą trafiać do dzienników ani kopii zapasowych.
Ochrona połączenia różni się od ochrony danych podczas obliczeń. Wynajęty sprzęt ma własną granicę zaufania: nie można obiecać sprzętowo chronionego wykonania na każdym akceleratorze. W razie utraty kontroli węzeł jest wyłączany, jego uprawnienia są cofane, a przywrócenie wymaga sprawdzenia i czyszczenia.
Usuwanie żądań i tymczasowa pamięć podręczna
Rate Cloud nie tworzy trwałej historii tekstów żądań i odpowiedzi ani nie trenuje modeli na danych użytkowników. Treść jest przetwarzana w pamięci tymczasowej. Normatywny czas czyszczenia dostępnych, zarządzanych buforów aplikacji: do 5 sekund po pomyślnym przekazaniu; do 30 sekund po ostatecznym błędzie, anulowaniu lub zerwaniu połączenia.
Izolowana pamięć podręczna KV obliczeń ma osobny okres: do 5 minut bez ponownego użycia i do 15 minut bezwzględnego wieku. Po upływie terminu blok jest wykluczany z nowych trafień; operacja, która już go używa, może zakończyć się w ramach własnego terminu. Po zwolnieniu ostatniego odwołania pamięć jest czyszczona. Pamięć podręczna nie jest zapisywana na stałym dysku ani uwzględniana w migawkach.
Klucz zgodności obejmuje konto, model, rewizję wag, kwantyzację, tokenizator, szablon dialogu i instrukcje systemowe. Indeks jest chroniony przez HMAC. Użytkownik nie może wybrać cudzego obszaru pamięci podręcznej. Profil bez pamięci podręcznej między żądaniami jest określany przez zasady przetwarzania projektu. Historią w programie klienckim zarządza sam program.
Metadane techniczne obejmują identyfikatory, model, profil, czas, czas trwania, usage, stan slotów i kody błędów. Szczegółowe zapisy są usuwane po 30 dniach. Nie zawierają promptów, odpowiedzi, argumentów narzędzi, plików ani tokenów autoryzacyjnych. Dane konta, płatności i dobrowolne zgłoszenia do pomocy mają osobne cele i okresy przechowywania.
Dostępność i rekompensata
Dostępność modeli przez 24 godziny na dobę, 7 dni w tygodniu nie jest gwarantowana. Jeśli cały system jest całkowicie niedostępny nieprzerwanie przez ponad 4 godziny, a żądania zwracają HTTP 503, opłacone subskrypcje zostaną przedłużone: okres 3 dni o 12 godzin, okres 7 dni o 1 dobę, okres 30 dni o 3 dni.
Zasada dotyczy wyłącznie całkowitej awarii systemu z HTTP 503. Błędy pojedynczego modelu, wolna odpowiedź, ograniczenia równoległości i inne kody błędów nie stanowią takiej podstawy. Aby sprawdzić incydent, skontaktuj się z pomocą, podając czas i identyfikatory operacji, bez sekretu API i treści żądań. Obowiązkowe prawa użytkownika pozostają zachowane.
Wersje i kryteria wdrożenia
Przy odbiorze sprawdza się zachowanie wybranego modelu, priorytet jakości, przywrócenie w pierwotnym terminie, izolację pamięci podręcznej, usuwanie treści, ochronę połączeń i brak tekstów w analityce. Zmiany kontraktów API, pamięci podręcznej i profili muszą być uzgadniane między dokumentacją, panelem i warunkami.