6.3 本番運用Tips

ロギングとモニタリング

本番環境では、検証結果のロギングとモニタリングが重要である。

import logging
import json
from datetime import datetime

logger = logging.getLogger("guardrails.production")

def log_guard_result(result, request_id):
    log_data = {
        "request_id": request_id,
        "timestamp": datetime.now().isoformat(),
        "validation_passed": result.validation_passed,
        "reask_attempts": result.reask_attempts,
        "error": str(result.error) if result.error else None
    }
    
    if result.validation_passed:
        logger.info(json.dumps(log_data))
    else:
        logger.warning(json.dumps(log_data))

メトリクス収集

from collections import defaultdict

class GuardrailsMetrics:
    def __init__(self):
        self.total_calls = 0
        self.success_count = 0
        self.failure_count = 0
        self.total_reasks = 0
        self.error_types = defaultdict(int)
    
    def record(self, result):
        self.total_calls += 1
        self.total_reasks += result.reask_attempts
        
        if result.validation_passed:
            self.success_count += 1
        else:
            self.failure_count += 1
            if result.error:
                self.error_types[type(result.error).__name__] += 1
    
    def get_stats(self):
        return {
            "success_rate": self.success_count / max(self.total_calls, 1),
            "avg_reasks": self.total_reasks / max(self.total_calls, 1),
            "error_distribution": dict(self.error_types)
        }

metrics = GuardrailsMetrics()

パフォーマンス最適化

# Guardのシングルトンパターン
class GuardFactory:
    _guards = {}
    
    @classmethod
    def get_guard(cls, model_class):
        if model_class not in cls._guards:
            cls._guards[model_class] = Guard.from_pydantic(model_class)
        return cls._guards[model_class]

# 使用
guard = GuardFactory.get_guard(UserProfile)

本番環境チェックリスト

まとめ

Guardrails AIは、LLM出力の品質管理において強力なツールである。適切なエラーハンドリング、リトライ戦略、モニタリングを組み合わせることで、本番環境でも安定したLLMアプリケーションを構築できる。

本サイトで学んだ内容を活用し、実務でのLLMエージェント開発に役立てていただきたい。