ペアーズにおける評価ドリブンなリリースサイクル:Langfuseをフル活用したLLMOps基盤
2024.12.10 10:47
Medium
− 目次
− 対象読者
− TL;DR
− 背景:LLMアプリケーション運用の課題
− LLMOps基盤のシステムアーキテクチャ
−− 主なコンポーネントと役割
−− Langfuseを採用した理由
− 評価ドリブンなリリースライフサイクルの全体像
− オンライン評価プロセス
−− 1. ログ・トレースデータの保存
−− 2. 評価とアノテーション
− オフライン評価プロセス
−−…