NVIDIA、韓国の主要AI向けに性能を最大2倍に高める展開手順を公開

NVIDIAは、韓国の主要オープンモデルに向けた分散推論フレームワーク「NVIDIA Dynamo」の最適化展開レシピを公開した。対象となるのは、SK Telecomの「A.X K2」、LG AI Researchの「K-EXAONE 2.0」、Upstageの「Solar Open 2」、Motif Technologiesの「Motif-3」の4モデルである。

AIモデルの大規模化に伴い、単一GPUの容量を超えるモデルが増えている。こうしたモデルを複数GPUに分割して運用する際は、性能を維持するためにリクエストのルーティングやGPU間通信の緻密な調整が課題となる。オープンソースのDynamoは、データセンター規模のマルチノード環境でこれらを制御し、推論性能を最大化する役割を果たす。

今回提供されたレシピは「NVIDIA B200」GPU向けに最適化されており、導入直後から最大2倍の性能を引き出すことができる。これにより、開発者が韓国のオープンモデルを迅速に実環境へ移行させることを支援する。