自動推論チェックで回答を書き換えてハルシネーションを抑えるチャットボットのリファレンス実装

ツイート

Amazon Bedrock Guardrails の自動推論チェックを活用し、大規模言語モデル (LLM) の回答を反復的に書き換えて改善するオープンソースのサンプルチャットボットを紹介します。検出結果の種類 (VALID、INVALID、SATISFIABLE など) に応じた優先順位付けと書き換えループの仕組み、確認のための質問を行うロジック、数学的に検証可能な説明と監査証跡による透明性の向上、バックエンドの主要コンポーネントと導入手順を詳しく説明します。