Sebastian Raschka氏、思考するAIを自作する全11時間の動画講義を公開

AI研究者のSebastian Raschka氏は、学習済みのAIが実際に答えを出す処理。使うたびに計算コストがかかる。">推論モデル（Reasoning Model）の仕組みをゼロから実装して学ぶ全8回、計11時間の動画講義を公開した。事前学習済みの大規模言語モデル（LLM）を出発点とし、評価や性能向上のための手法をPythonとPyTorchを用いて実践的に構築する内容となっている。

同氏によると、現行世代のLLMの多くは推論モデルであるか推論モードを備えており、より高度な課題を解決する自律型エージェントの「エンジン」として中核的な役割を担っている。本講座は、2025年に公開された前作『Coding LLMs from the Ground Up』の続編的な位置づけであり、近刊の著書『Build a Reasoning Model (From Scratch)』の内容に沿って講義が進められる。

講座内ではゼロからモデル全体を学習させるのではなく、事前学習済みの「Qwen3 0.6B」モデルの重みを読み込むところから始める。テキスト生成処理の実装をはじめ、推論を効率化するKVキャッシュの追加や「torch.compile」の適用、生成速度の測定などを扱っている。また、数学ベンチマーク「MATH-500」を用いた評価ループや、解答の抽出・正規化・同値性判定を行う検証器の構築手法も解説する。この検証器は、後続の検証可能報酬を用いた強化学習（RLVR）における報酬シグナルとしても活用される。

さらに、モデルの重みを固定したまま回答精度を高める推論時スケーリング手法として、温度調整やトップpサンプリングによる多様な回答の生成、多数決で回答を統合する「セルフコンシステンシー（自己無撞着性）」、確率スコアに基づく回答比較、自己修正ループの実装と検証を取り上げている。

受講の前提知識としてPythonとPyTorchの基礎が推奨されている。初期のテキスト生成や評価はCPU環境でも動作するが、訓練を含む後半の実験にはGPUの利用が推奨されている。同氏は一連の教材公開後、小休止を挟んで翌月に新たなLLM研究のまとめ記事を公開する予定としている。