自己注意機構とは

入力された文章などのデータ全体を見渡し、文中のどの単語同士が深く関連しているかをAI自身が計算して注目する仕組みのことです。

たとえるなら — 長い文章を読むときに、「これ」や「それ」が何を指しているかを、前後の重要な言葉に蛍光ペンで印をつけて確認するようなものです。