スパースアテンションとは

AIが文章や画像を処理するとき、すべての情報同士を比べずに関連が強い部分だけに絞って注目する技術です。計算量を大幅に減らして、長い文章も素早く扱えるようにします。

たとえるなら — 本の全単語に目を通すのではなく、目次やキーワードだけを拾い読みして要点を素早く把握するようなものです。