従来の文章生成AIを一気に書き出す方式へ　GPU1基・4時間で変換する新技術

既存の文章学習し、文章や画像、音楽といった未知の新しいデータを自ら作り出すことができるAI技術のことです。">生成モデルを拡散言語モデルへと効率的に変換する新手法「BYOD（Build Your Own DLM）」に関する研究が公開された。拡散言語モデルは並列での単語生成や双方向の文脈把握が可能である一方、従来の開発手法は膨大な事前学習やモデル全体の再学習を伴い、多額の計算コストを要する点が課題となっていた。

BYODは、基礎モデルの全パラメータを固定したままLoRAアダプタのみを学習させる手法を採用する。追加されるパラメータは全体の4.1〜5.8%にとどまり、2万5,000反復の変換処理に必要なデータ量は最大1億240万トークンとされる。Google ColabのGPU1基を用い、3.1〜4.0時間で変換を完了できるという。研究では「Gemma 2 9B」「Llama 3.1 8B」「Qwen2.5 7B」「Ministral 8B」の4モデルで適用が検証された。

9つの評価タスクにおいて「BYOD-Gemma」は平均正解率50.6%を達成し、先行の拡散言語モデル「LLaDA 8B Instruct」の51.9%に迫る水準を示した。一方で、少ない計算ステップ数での文章生成品質には課題が残されており、実用化に向けた今後の改善点が示されている。