NVIDIA CorporationScitiX's platform uses NVIDIA B200, H200, and H100 GPUs, indicating demand for NVIDIA hardware.

ScitiX ได้เปิดตัวแพลตฟอร์มอินเฟอเรนซ์สำหรับการใช้งานจริง ซึ่งออกแบบมาสำหรับองค์กรที่รันเอไอในระดับขนาดใหญ่ โดยวางตำแหน่งให้อินเฟอเรนซ์เป็นแกนหลักในการดำเนินงานของสแตกเอไอยุคใหม่ แพลตฟอร์มนี้ทำงานบนโครงสร้างพื้นฐาน NVIDIA B200, H200 และ H100 ที่ ScitiX เป็นเจ้าของเอง และปัจจุบันประมวลผลโทเคนมากกว่า 1 ล้านล้านโทเคนต่อวัน โดยมีเวลาเฉลี่ยตั้งแต่ได้รับคำขอจนถึงโทเคนแรกประมาณหนึ่งวินาที อัตราการพบข้อมูลในแคชเกินกว่าร้อยละ 90 และความพร้อมใช้งานของระบบที่ร้อยละ 99.9 แพลตฟอร์มนี้มาพร้อมการจัดเส้นทางโมเดลอัจฉริยะ การนำบริบทกลับมาใช้ซ้ำโดยรับรู้เซสชัน การทำงานที่ทนทานต่อความผิดพลาด สภาพแวดล้อมการปรับใช้แบบส่วนตัว นโยบายไม่เก็บข้อมูลใด ๆ และความสามารถในการสังเกตการณ์แบบครบวงจร ปัจจุบันแพลตฟอร์มนี้รองรับเวิร์กโหลดการใช้งานจริงให้กับ RadixArk ซึ่งเป็นทีมเชิงพาณิชย์ที่อยู่เบื้องหลัง SGLang แล้ว กรอบการประเมินภายในของ ScitiX ที่ชื่อว่า SiEval แสดงให้เห็นถึงการเร่งความเร็วสูงสุดถึง 10.5 เท่าในไปป์ไลน์ที่เน้นการประเมินผลเป็นหลัก และการเร่งความเร็วแบบครบวงจรตั้งแต่ต้นจนจบถึง 7.22 เท่าในเวิร์กโฟลว์ลีดเดอร์บอร์ดขนาดใหญ่ แพลตฟอร์มนี้พร้อมให้บริการแก่ลูกค้าองค์กรแล้วในขณะนี้
NVIDIA CorporationScitiX's platform uses NVIDIA B200, H200, and H100 GPUs, indicating demand for NVIDIA hardware.
ScitiX launches a production-ready inference platform with performance improvements.
RadixArk's SGLang is supported on the platform, indicating adoption and demand.