過去の流れから未来の数値を予測するAI公開、主要テストで首位独占

研究チームは、確率的な時系列予測に特化した基盤モデル群「Timestral」を発表した。学習で調整される膨大な数値。「7B」は70億個の意味で、多いほど賢くなる傾向があるが動かすコストも増える。">パラメータ数は500万、2800万、1億2300万、2億900万の4種類が用意されている。性能評価では「GIFT-Eval」「TIME」「fev-bench」の各ベンチマークにおいて最高水準を記録し、上位2モデルがすべての指標で1位と2位を占めたという。

Timestralは、予測対象と文脈を分離して長期予測の学習効率を高める手法や、将来の外部要因を因果構造内でネイティブに扱う枠組みを取り入れた。学習面では、大規模な合成データのみで事前学習を実施したのち、実データと合成データを組み合わせた長文脈データで事後学習を行う2段階の手法を採用している。

なお、4種類すべてのモデルの重みはHugging Face上で、推論用のコードはGitHub上でそれぞれ公開されている。