CTO Realty Growth IncCTO
言及
中国を代表する商業銀行の一つである招商銀行は、KubeCon + CloudNativeCon + OpenInfra Summit + PyTorch Conference China 2026 におけるCNCFエンドユーザーケーススタディコンテストで受賞しました。これは、AIトレーニング、ファインチューニング、オンライン推論が約1万枚の異種アクセラレータカードを共有できる統合Kubernetesコントロールプレーンが評価されたものです。同行はアクセラレータコンピューティングリソースの99%をこのフレームワークの下に置き、平均利用率を35%から60%以上に引き上げ、100万トークンの処理コストを60%以上削減しました。Kueue、KEDA、Prometheus、HAMi、Fluidで構築されたこのプラットフォームは、インフラを共有しながらランタイムを分離し、社内のTwinkleトレーニングフレームワークにより、デフォルトで5つのLoRAテナントが1つのベースモデルインスタンスを共有できるため、その構成でのアクセラレータリソース使用量を80%削減し、トレーニング密度を5倍に高めます。CNCFのCTOであるクリス・アニシュチェク氏は、このアプローチを、構成可能でベンダーに依存しないインフラが大規模に測定可能な効率性を提供する明確な例として賞賛しました。同行は、KEDAをゼロまでスケールできるサーバーレス推論に拡張し、HAMiベースの異種アクセラレータのサポートを拡大する計画です。
China Merchants Bank Co LtdWon CNCF contest for AI platform, improving efficiency and cutting costs.