マイクロソフトの軽量AI技術、普通のパソコンで最大6倍高速かつ電力8割減

米マイクロソフトは、極小の数値表現で動作する「1ビット学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">LLM」向けの公式推論フレームワーク「bitnet.cpp」に関する技術成果を公開している。一般的なCPU環境において、従来のモデルと比べて最大6倍以上の推論速度向上と最大8割以上の消費電力削減を達成し、端末上でのAI実行を容易にする技術基盤として整備を進めている。

bitnet.cppは、重みを1.58ビットなどの極小ビットで表現する言語モデルを効率的に処理する実行環境だ。公開資料によると、x86 CPUにおいて従来のフル精度モデル比で2.37倍から6.17倍の高速化と、71.9％から82.2％の消費電力削減を達成した。ARM系CPUでも1.37倍から5.07倍の高速化、55.4％から70.0％の電力削減を記録している。さらに、1000億（100B）パラメータ規模のモデルを単一のCPU上で1秒あたり5〜7トークンという人間の読書速度相当で動作させられるという。

本フレームワークに対応するモデルやエンジンの公開も進んでいる。2025年4月には4兆トークンで学習した24億（2.4B）パラメータの言語モデル「BitNet-b1.58-2B-4T」を公開した。2026年7月には、重みあたり2ビットで精度を維持する埋め込みモデル「BitNet-embedding-0.6B」および「BitNet-embedding-270M」を提供し、x86 CPU上で最大1.74倍から2.28倍の高速化を確認した。同月には、CPU上でリアルタイム動作（RTF < 1）を果たす多言語音声認識エンジン「VibeASR.cpp」も公開している。

同プロジェクトは2023年10月の初期論文公開から開発が継続されており、既存のオープンソース基盤「llama.cpp」や低ビット化手法「T-MAC」の技術を取り入れて構築された。CPUやGPU向けの最適化カーネルに続き、今後はAI処理専用プロセッサであるNPUへの対応も予定されている。