8-3 Guardrails

1. Guardrailsの必要性

1.1 LLMのリスク

LLMは強力な能力を持つ一方で、制御なしに使用すると様々なリスクがある。 ビジネスアプリケーションでは、これらのリスクを適切に管理しなければ、 ユーザーへの悪影響、法的問題、レピュテーションリスクにつながる。 Guardrailsは、これらのリスクを軽減するための防御層である。

1.2 Guardrailsの種類

Guardrailsは、入力側と出力側の両方に設置する。 入力ガードは不正な入力をブロックし、 出力ガードは生成された内容を検証する。 多層防御の考え方に基づき、複数のガードを組み合わせることが推奨される。

図1: Guardrailsの配置

2. 入力ガード

2.1 入力検証の種類

入力ガードは、ユーザーからの入力がLLMに渡される前に検証を行う。 悪意のある入力や不適切な内容をフィルタリングし、 システムの安全性を確保する。

2.2 プロンプトインジェクション対策

プロンプトインジェクションは、ユーザー入力を通じてLLMの動作を 意図せず変更させる攻撃である。 例えば「以前の指示を忘れて〜」といった入力で、 システムプロンプトを無効化しようとする。 複数の対策を組み合わせて防御することが重要である。

3. 出力ガード

3.1 出力検証の種類

出力ガードは、LLMの生成結果を検証し、問題がある場合は 修正または拒否する。出力の品質と安全性を確保するために重要である。

3.2 構造化出力

LLMの出力を構造化することで、後続処理での扱いが容易になる。 JSONモード、Function Calling、Pydanticなどの仕組みを活用し、 出力形式を制御する。形式が保証されることで、 パースエラーのリスクを軽減できる。

4. Guardrailsの実装ツール

Guardrailsを効率的に実装するためのツールやライブラリが存在する。 これらを活用することで、一から実装する手間を省き、 実績のある検証ロジックを利用できる。