会話も文字起こしも判断も1台でこなす新AI登場、メモリを増やさず高速切り替え

日常会話への応答、意思決定、音声からの文字起こしという異なるタスクを単一のエンドポイントから効率的に切り替えて実行できる新モデル「Granite Switch 4.1」が公開された。パラメータ規模として「Granite-Switch-4.1-8B」および「Granite-Switch-4.1-30B」の2種類が提供される。

Granite Switch 4.1には、汎用的な意思決定を行う「Decision aLoRA」、安全性関連の判断タスクで「Jev 1.13」や「Microsoft-Decision-1」などを平均して上回る「Guardian aLoRA」、そしてOpenASRリーダーボードで最速の音声認識モデル「Granite-Speech-5.0-Turbo-CTC」が組み込まれている。これらの技術はベースモデルと統合されており、GPU上でベースモデル単体とほぼ同量のメモリ（VRAM）しか消費しない。また、ベースモデル生成時に作られたKVキャッシュを後続のアダプター処理で再利用できる仕組みとvLLM推論高速化技術により、高速なタスク切り替えを実現している。8Bモデルでは、単一エンドポイント上で音声文字起こし、要約生成、有害コンテンツの選別などをリアルタイムに処理できる。

性能検証では、4つの専門aLoRAを備えたGranite-Switch-4.1-30Bが、5段階のRAGワークフローにおいて競合する「Jev-27B」よりも高速に処理を完了した。さらに、3B版モデルにカスタムアダプターを適用した検証では、名作ゲーム「Doom」のプレイにおいてJevの毎秒10回を大きく上回る毎秒60〜100回の判断を行いながら、プレイ内容の実況や質問応答を同時にこなしたという。今後は、アダプターを訓練するための「Adapter SDK」をMellea向けに公開する予定だ。