AIが過去の思考メモを要約、再学習なしで余計な長文を減らしコスト削減へ

難問を解くAIの思考過程が長文化し計算コストが膨らむ課題に対し、モデルの再学習を行わずに過去の思考履歴を要約・圧縮して以後の推論を短縮する手法を検証した研究論文が公開された。

AIの推論機能は高度な問題解決を可能にする反面、冗長な思考プロセスの増加がコスト負担となる。商用モデルでは思考過程が非公開で検証が難しい中、本研究では公開モデルを対象に、ツールの実行結果が得られる前に過去の思考を簡潔な記録へと書き換える介入実験を行った。

検証の結果、圧縮された履歴を受け入れたモデルではその後の推論が短縮され、プログラミングの事例では不要な再検証の繰り返しが減少した。自律型エージェントの運用において総費用の削減につながる一方、タスクの品質や書き換えに伴う処理時間は対象モデルや圧縮手法に依存すると指摘している。