პროდუქტი და ულიმიტოობა
გამოწერა არჩეულ მოდელზე 3, 7 ან 30 დღით წვდომას იძლევა შემავალი და გამომავალი ტოკენების ჯამური კვოტის გარეშე. თითოეული გამოწერა ოთხ პარალელურ მოთხოვნას მოიცავს. ანგარიშის გასაღებები შესაბამისი მოდელის საერთო სლოტების აუზს იყენებს. ოპერაციის დასრულების შემდეგ სლოტი თავისუფლდება.
Rate Cloud მართავს წონების განთავსებას, შესრულების ძრავებს, სიზუსტის პროფილებსა და მოთხოვნების განაწილებას. აღჭურვილობა ქირავდება კორპორაციული მფლობელებისგან. მათი კლასტერების თავისუფალი სიმძლავრე ავსებს სტაბილურ რეზერვს. ულიმიტოობა ეხება პერიოდის ტოკენებს; კონტექსტი, ერთი ოპერაციის დრო, პარალელურობა და API დაცვის შეზღუდვები კვლავ სასრულია.
სერვერები და გამოთვლები
არქიტექტურა იყენებს Huawei Atlas პლატფორმებსა და Ascend ამაჩქარებლებს: Atlas 800I A2 და A3 დიდ მოდელებისთვის, Atlas 900 A2 PoD და A3 SuperPoD განაწილებული ჯგუფებისთვის. Atlas 500 და 500 A2 მცირე დამხმარე ამოცანებისთვისაა; Atlas 300I Duo-იანი Atlas 800 თავსებადობის ცალკე კლასია.
Atlas 800I A2 შეიცავს 8 NPU-ს, თითოეული 64 GB-ით. Atlas 800I A3 შეიცავს 8 ფიზიკურ NPU-ს, თითოეული 128 GB-ით, რომლებიც 16 ლოგიკურ მოწყობილობადაა წარმოდგენილი. ეს ერთი და იმავე მეხსიერების ორი წარმოდგენაა და მათი შეკრება არ შეიძლება. თითოეული მოდელის მხარდაჭერა ცალკე მოწმდება. ლოკაციებს შორის სრულად გადადის მოთხოვნები; ერთი რეპლიკის მჭიდროდ დაკავშირებული გამოთვლები თავსებად ლოკალურ ქსელს იყენებს.
მოდელები და კვანტიზაცია
ერთი და იგივე მოდელი რამდენიმე კვანტიზაციის ვარიანტითაა მომზადებული. მაგალითად, GLM 5.3-ს სხვადასხვა მოთხოვნის შესრულება ხარისხის, დაბალანსებული ან ეკონომიური პროფილით შეუძლია. ჭკვიანი სისტემა ამოცანას აფასებს და იმავე მოდელის შესაბამის ვარიანტს თავად ირჩევს. მომხმარებელმა მხოლოდ მოდელი უნდა აირჩიოს; ბიტების ხელით შეცვლა საჭირო არ არის.
ხარისხის პროფილი იყენებს შემოწმებულ საწყის ფორმატს, W8A8-ს ან სხვა დაშვებულ კონფიგურაციას. დაბალანსებული პროფილი აერთიანებს კომპონენტების სიზუსტეს, მაგალითად 4 და 8 ბიტს, დაახლოებით 6 ბიტის ეფექტური საშუალო სიზუსტით. ეს უნივერსალური INT6-ის დაპირება არ არის. ეკონომიური პროფილი იმავე მოდელის შემოწმებულ W4A16, W4A8 ან MXFP4-ს იყენებს. პროფილის ხელმისაწვდომობა აღჭურვილობასა და ხარისხის შემოწმებაზეა დამოკიდებული.
წარმოიდგინეთ მოდელის რიცხვები სხვადასხვა სიზუსტით ჩაწერილ მნიშვნელობებად. კომპაქტური ჩანაწერი ნაკლებ მეხსიერებას იკავებს, მაგრამ შედეგზე გავლენა შეიძლება ჰქონდეს. ამიტომ მონაცემების მარტივი ძიება შემოწმებულ კომპაქტურ ვარიანტს შეიძლება მიეცეს, რთული კოდი, მათემატიკა და ინსტრუმენტები კი ხარისხის პროფილს. ეჭვისას სისტემა ხარისხს ირჩევს. Flash და Pro ცალკეული მოდელებია და ერთმანეთს არ ანაცვლებს.
| მოდელი | საწყისი გამოშვება | ერთი მოდელის ვარიანტები: სისტემა მოთხოვნის მიხედვით ირჩევს |
|---|---|---|
| GLM 5.3 | zai-org/GLM-5.3 / GLM-5.3-BF16 | საწყისი ფორმატი; თავსებად აღჭურვილობაზე შემოწმებული W8A8C8 ან MXFP4. |
| GLM 5.3 Flash | zai-org/GLM-5.3-Flash / BF16 | W8A8; A3-ისა და 950DT-ისთვის გამოიყენება განსხვავებული აპარატული ვარიანტები, მათ შორის MXFP8. |
| DeepSeek V4 Pro | deepseek-ai/DeepSeek-V4-Pro-0813 | მშობლიური MXFP8 და MXFP4; მომზადებული W4A8, თუ თავსებადობა დადასტურებულია. |
| DeepSeek V4.1 Flash | deepseek-ai/DeepSeek-V4.1-Flash-1017 | მშობლიური MXFP4, FP8 და უფრო ზუსტი კომპონენტები; A2/A3-სთვის W8A8 ადაპტაცია Engram-ის ცალკე განთავსებით. |
| Qwen 3.8 Max | Qwen/Qwen3.8-2.4T-A95B | იმავე მოდელის შემოწმებული ხარისხისა და ეკონომიის პროფილები. არქიტექტურის რედაქცია ერთ ფიქსირებულ ფორმატს არ ადგენს. |
ხარისხის შემოწმება
თითოეული პროფილი ზუსტ საწყის გამოშვებასთან შედარებით მოწმდება საჯარო, სინთეზურ და სპეციალურად მომზადებულ ამოცანებზე: კოდი, მათემატიკა, გრძელი კონტექსტი, ინსტრუმენტები და მკაცრი JSON. მომხმარებლის დიალოგები სწავლისთვის ან კალიბრაციისთვის არ გამოიყენება.
შემოწმება მოიცავს შედეგის ხარისხს, მეხსიერებას, სიჩქარესა და API ფუნქციების სისწორეს. დაბალი ბიტიანობა მხოლოდ შესაფერისი ამოცანებისთვის დაიშვება. უკვე გამოქვეყნებული დაბალბიტიანი წონების სიზუსტის გაზრდა დაკარგულ ინფორმაციას ვერ აღადგენს. reasoning_effort-ის ცვლილება დამოუკიდებელი პარამეტრია და კვანტიზაციის ეფექტად არ წარმოდგება.
მოთხოვნის გზა
დაცული კავშირი → გასაღების, გამოწერისა და თავისუფალი სლოტის შემოწმება → მოთხოვნების განსაზღვრა → არჩეული მოდელის პროფილის არჩევა → მზა რეპლიკის მინიჭება → ნაკადური პასუხი → სლოტის გათავისუფლება და დროებითი შიგთავსის გასუფთავება.
ლოგიკურ ოპერაციას აქვს request_id, ხოლო თითოეულ გამოთვლით მცდელობას, attempt_id. გამოტანამდე დაშვებულია თავსებად რეპლიკაზე განმეორება საერთო ვადის ფარგლებში. ნაკადის დაწყების შემდეგ ერთი პასუხის დასაწყისი ახალი გენერაციის გაგრძელებას არ უერთდება. კლიენტმა შეწყვეტილი ნაკადი დაუსრულებლად უნდა ჩათვალოს.
ჭკვიანი განაწილება
მარშრუტიზატორი ითვალისწინებს კონტექსტს, სურათებს, ინსტრუმენტებს, პასუხის ფორმატს, ამოცანის სირთულეს, ხელმისაწვდომ მეხსიერებას, რიგს, რეპლიკის მდგომარეობასა და რესურსის გამოყოფის ვადას. კოდს, მათემატიკას, მკაცრ სქემებს, ინსტრუმენტებსა და გაურკვეველ ამოცანებს ხარისხის პროფილი ენიჭება. მოკლე შეკითხვა აუცილებლად მარტივი არ არის.
ღირებულება მხოლოდ შესაფერის მარშრუტებს შორის განიხილება. ოპერაციის განმავლობაში ფიქსირდება წონების ვერსია და ნებადართული ფუნქციები. შეუთავსებელი სერვერი მინიჭებამდე გამოირიცხება. შესაფერისი სიმძლავრის არქონისას შესაძლებელია შიდა ბიუჯეტის ფარგლებში ლოდინი ან დროებითი მიუწვდომლობის მკაფიო შეცდომა; სხვა მოდელი შეუმჩნევლად არ ჩანაცვლდება.
მდგრადობა და აღდგენა
სტაბილური ჯგუფები ძირითად მუშაობასა და აღდგენას უზრუნველყოფს. დამატებითი შეწყვეტადი ჯგუფები სიმძლავრეს ზრდის. უკან გაწვევის გაფრთხილებისას სერვერი ახალ ოპერაციებს აღარ იღებს, მიმდინარე ამოცანები კი საწყისი ვადის ფარგლებში მუშავდება. კრიტიკული ამაჩქარებლის დაკარგვა მასზე დამოკიდებულ მთელ რეპლიკას გამორიცხავს.
მომზადებული რეპლიკა გადის წონების ჩატვირთვას, გახურებასა და მზადყოფნის შემოწმებას. დამოუკიდებელი შეფერხების ჯგუფები ერთი ავარიის გავლენას ამცირებს. გამოთვლის განმეორებამ შეიძლება დაგვიანება გაზარდოს. აღდგენის არქიტექტურა თითოეული მოდელის 24/7 ხელმისაწვდომობის გარანტიას არ ნიშნავს.
ინფრასტრუქტურის უსაფრთხოება
გარე გადაცემა TLS-ითაა დაცული. სერვისებს შორის კავშირები იდენტობის შემოწმებას და mTLS-ს იყენებს. წვდომის უფლებები სამუშაო საჭიროების მიხედვით გაიცემა. გასაღებები, ანგარიშები, პროექტები და ქეშის არეები იზოლირებულია. API საიდუმლოებები და მოთხოვნების სხეულები ჟურნალებში ან სარეზერვო ასლებში არ უნდა მოხვდეს.
კავშირის დაცვა განსხვავდება გამოთვლის დროს მონაცემთა დაცვისგან. დაქირავებულ აღჭურვილობას საკუთარი ნდობის საზღვარი აქვს: ყველა ამაჩქარებელზე აპარატურით დაცული შესრულების დაპირება შეუძლებელია. კვანძზე კონტროლის დაკარგვისას ის გამოირიცხება, უფლებები უუქმდება, დაბრუნებამდე კი საჭიროა შემოწმება და გასუფთავება.
მოთხოვნების წაშლა და დროებითი ქეში
Rate Cloud არ ქმნის მოთხოვნებისა და პასუხების ტექსტების მუდმივ ისტორიას და მომხმარებლის მონაცემებზე მოდელებს არ ასწავლის. შიგთავსი დროებით მეხსიერებაში მუშავდება. ხელმისაწვდომი მართული აპლიკაციის ბუფერების გასუფთავების ვადა: წარმატებული გადაცემიდან 5 წამამდე; საბოლოო შეცდომიდან, გაუქმებიდან ან კავშირის გაწყვეტიდან 30 წამამდე.
იზოლირებულ გამოთვლით KV ქეშს ცალკე ვადა აქვს: გამოუყენებლობის 5 წუთამდე და აბსოლუტური ასაკის 15 წუთამდე. ვადის გასვლის შემდეგ ბლოკი ახალი დამთხვევებიდან გამოირიცხება; მისი მომხმარებელი ოპერაცია შეიძლება თავის ვადაში დასრულდეს. ბოლო მითითების გათავისუფლების შემდეგ მეხსიერება იწმინდება. ქეში მუდმივ დისკზე არ იწერება და snapshot-ებში არ შედის.
თავსებადობის გასაღები მოიცავს ანგარიშს, მოდელს, წონების რევიზიას, კვანტიზაციას, ტოკენაიზერს, დიალოგის შაბლონსა და სისტემურ ინსტრუქციებს. ინდექსი HMAC-ით დაცულია. მომხმარებელი სხვის ქეშის სივრცეს ვერ აირჩევს. მოთხოვნებს შორის ქეშის გარეშე პროფილი პროექტის დამუშავების პოლიტიკით განისაზღვრება. კლიენტის პროგრამის ისტორია თავად პროგრამის მიერ იმართება.
ტექნიკური მეტამონაცემები მოიცავს იდენტიფიკატორებს, მოდელს, პროფილს, დროს, ხანგრძლივობას, usage-ს, სლოტების მდგომარეობასა და შეცდომის კოდებს. დეტალური ჩანაწერები 30 დღეში იშლება. მათში არ არის prompt-ები, პასუხები, ინსტრუმენტების არგუმენტები, ფაილები და ავტორიზაციის ტოკენები. ანგარიშის, გადახდისა და ნებაყოფლობითი მხარდაჭერის მიმართვის მონაცემებს ცალკე მიზნები და შენახვის ვადები აქვს.
ხელმისაწვდომობა და კომპენსაცია
მოდელების ხელმისაწვდომობა კვირაში 7 დღე, დღეში 24 საათი გარანტირებული არ არის. თუ მთელი სისტემა უწყვეტად 4 საათზე მეტხანს სრულად მიუწვდომელია და მოთხოვნები HTTP 503-ს აბრუნებს, ფასიანი გამოწერები გრძელდება: 3-დღიანი ვადა 12 საათით, 7-დღიანი 1 დღით, 30-დღიანი 3 დღით.
წესი მხოლოდ HTTP 503-ით გამოწვეულ სისტემის სრულ გათიშვას ეხება. ცალკეული მოდელის შეცდომები, ნელი პასუხი, პარალელურობის შეზღუდვა და სხვა კოდები ამ საფუძველს არ ქმნის. ინციდენტის შესამოწმებლად მიმართეთ მხარდაჭერას დროითა და ოპერაციის იდენტიფიკატორებით, API საიდუმლოსა და მოთხოვნის შიგთავსის გარეშე. მომხმარებლის სავალდებულო უფლებები ძალაში რჩება.
ვერსიები და დანერგვის კრიტერიუმები
მიღებისას მოწმდება არჩეული მოდელის შენარჩუნება, ხარისხის პრიორიტეტი, აღდგენა საწყის ვადაში, ქეშის იზოლაცია, შიგთავსის წაშლა, კავშირის დაცვა და ანალიტიკაში ტექსტების არარსებობა. API-ის, ქეშისა და პროფილის კონტრაქტების ცვლილებები დოკუმენტაციას, ანგარიშის პანელსა და პირობებს უნდა შეესაბამებოდეს.