AWS、Claudeの回答形式を崩さず指定通りに出力できる新機能を提供開始
- Amazon BedrockでClaude全モデルを対象に、指定形式通りに応答を固定する「構造化出力」が利用可能になった。
- 文字の生成段階でルールを適用するため、データ崩れや読み込みエラーが起きず、再試行処理を排除できる。
- 初回に規則を解析して24時間一時保存し、一括処理や複数地域での運用、ツールの厳格な呼び出しにも対応する。
Amazon Web Services(AWS)は、生成AI基盤サービス「Amazon Bedrock」において、Anthropicの「Claude」全モデルを対象に「構造化出力(Structured outputs)」の一般提供を開始した。利用者は、事前に定義したJSON形式のスキーマに完全に準拠した応答を受け取れるようになる。
これまで、AIモデルの応答を特定のデータ構造に当てはめる際は、意図しない書式崩れや解析エラーに対処するため、独自の構文解析や再試行の処理を実装する必要があった。今回の機能では「制約付きデコーディング」技術を採用し、テキスト生成の段階でスキーマを適用する。モデルがスキーマに違反するトークンを生成しなくなるため、出力の不確実性を排除し、型に沿った正確なデータ取得が可能になる。
システム内部では、受け取ったスキーマ定義(JSON Schema Draft 2020-12の一部サブセットに対応)を検証し、構文データをコンパイルする。コンパイル結果はアカウントごとに24時間キャッシュされるため、2回目以降の同一スキーマに対するリクエストは遅延を抑えて処理される。また、スキーマで指定した項目のみが出力されるため、無駄なトークン消費を抑え、推論コストの削減にもつながる。
本機能は、通常の推論エンドポイントに加え、エージェント向けエンドポイント「Amazon Bedrock Mantle」でも利用できる。Mantleでは「strict: true」を設定することで、外部ツールの引数に対しても厳格なスキーマ検証を適用できる。さらに、大量データを非同期で処理するバッチ推論や、リアルタイムでのストリーミング出力にも対応している。
この記事は AWS 機械学習ブログの発表を AI が日本語に要約したものです。正確な内容は原文をご確認ください。
アプリで開く