画像処理AI向けKornia、微分対応1200機能で最大100倍超に高速化

PyTorch向けに開発されているオープンソースの微分可能コンピュータビジョンライブラリ「Kornia」が、GitHub上で注目を集めている。Korniaは画像処理や幾何ビジョン演算の自動微分、学習・推論に使われる計算チップ。もとはゲーム映像用で、NVIDIA が最大手。">GPUによる高速化、バッチ処理に対応しており、深層学習ワークフローに直接組み込める機能を備える。

Korniaは1,200以上の公開演算子を持ち、カメラモデル、エピポーラ幾何、最小ソルバー、RANSAC、特徴点検出およびマッチング、エッジ検出、LabやBayer色空間変換などを幅広く網羅する。標準的なtorchvisionと比較して、単一の関数呼び出しでサンプルごとに異なるパラメータを適用した一括処理（バッチ処理）が行える点が特徴だ。バージョン0.9.1からは、テンソルの検証処理がデバイス側で実行されるようになり、CUDAやPyTorch 2.13以降のMPS利用時に不要なホスト同期を発生させない仕組みを取り入れた。

幾何処理の領域では、3次元と深度の相互変換やカメラ歪み補正、リー群（So3、Se3）の計算において勾配を保持できる。画像、マスク、バウンディングボックス、キーポイントを同時に変換する拡張機能「AugmentationSequential」も用意されているほか、SIFTやLoFTR、LightGlueといった局所特徴量関連のアルゴリズムをGPU上で実行できる。多くの演算子がtorch.compileに対応し、1,000以上の演算子がONNXへのエクスポートをサポートしている。

公開されているバージョン0.9.0のベンチマーク測定（NVIDIA RTX 4090、バッチサイズ32）によると、多くのフィルタ処理や歪み補正、特徴マッチングにおいて、CPU上のOpenCVやscikit-imageと比較してeagerモードで約10倍から70倍、torch.compile適用時には100倍を超える高速化を記録した。一方で、単一画像のuint8処理などCPUに特化した処理ではOpenCVが優位となるなど、得意とするワークロードの特性も明示されている。

プロジェクトの今後の方針として、開発リソースをワーピングやホモグラフィ、カメラモデルといった幾何学コアの信頼性向上に集中させるため、モデル集約機能（Model Zoo）の新規拡張は一時的に凍結されている。すでに提供されているLoFTRやSAMなどの既存モデルは引き続き維持されるが、視覚言語モデル（VLM）などの新規統合には継続して責任を持つ専任メンテナーの参加が必須要件とされている。