検索と文章作成を1つのAIで両立し相互に性能を高める新手法　最大4点超改善

学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルを用いたシステムでは、文章の特徴を捉えて数値化する埋め込み（Embedding）と文章生成の能力が不可欠とされる。しかし従来は別々のモデルを併用するか、パラメータを共有する統合モデルであっても、両者が互いに影響を与えずに並行して学習される構造にとどまっていた。

こうした課題に対し、因果的デコーダー専用の大規模言語モデル上で埋め込みと文章生成を相互に強化する事後学習フレームワーク「ULME」を提案する論文が公開された。ULMEは、入力クエリと回答の間に学習可能なスロットの連なりを挿入する手法をとる。指定されたスロットから意味埋め込みと推論埋め込みを読み出し、共通のバックボーン上で3つの損失関数を用いて学習する。

具体的には、意味スロットを文書表現に結びつける対照学習損失、回答生成を監視する言語モデリング損失、そして回答の集約情報と推論スロットを一致させる勾配停止予測損失を組み合わせた。これにより、文章生成のプロセスが埋め込みの表現内容を能動的に形成する仕組みを実現した。

実験では「Qwen2.5」および「Qwen3」の2系統、0.5Bから8Bパラメータにわたる8つの規模で検証が行われた。その結果、ULMEを適用したモデルは、主要なテキスト埋め込みベンチマークであるMTEBにおいて、オープンソースの強力なベースラインを3.3〜4.1ポイント上回った。さらにBRIGHTやAdvBench-IRのスコアも同時に向上させた。

一方で、MMLUやGSM8K、MMLU-Pro、HumanEvalといった標準的な評価指標においても、文章生成のみに特化して調整したモデルと同等の精度を維持した。研究チームは、単なる能力の共存にとどまらず、両者が真に統合されることで相互強化の効果が得られることを実証したとしている。