機械翻訳の採点はAIに任せられるか　70言語で検証も人とモデル双方に課題

機械翻訳の品質評価において、大規模言語モデルが人間の評価者の代替としてどの程度機能するかを検証した研究結果が発表された。機械翻訳の評価は多岐にわたる言語ペアや分野、評価の粒度に及ぶため、代替手段として利用する前に多角的な検証が求められていた。

研究チームは、機械翻訳の代表的な品質評価手法である「MQM（Multidimensional Quality Metrics）」と「ESA（Error Span Annotation）」を対象に、言語モデルと人間の評価者との一致度を調査した。検証には70言語ペアを含む長文テストセットのほか、一般公開されているデータセット「WMT23」および「WMT25」が用いられ、スコアの一致度とエラー区間の特定精度が分析された。

検証の結果、一部の評価タスクではモデルと人間の評価者の一致度が人間同士の一致度を上回ったものの、評価手法や言語ペア、分野によって結果が大きく変動し、大半の設定において依然として信頼性が不十分であることが判明した。

さらに、人間とモデルの双方が抱える課題も明らかになった。人間の評価者は詳細な基準に基づく評価やデータが少ない言語ペアで苦戦する傾向がある一方、言語モデルは軽微な誤りの検知や言語の地域差・変種の判別、エラー区間の正確な特定に弱みを見せた。研究では、こうした信頼性の課題を解消するため、人間とモデルが協調して評価を行う仕組みの構築などが今後の改善策として期待されていると指摘している。