生成AIサービスの「運用」ってどうしてる？ 「Langfuse」国内パートナーが解説するLLMOps

ツイート

生成AIを組み込んだアプリケーションやシステムの開発が一般的になるにつれ、「LLMOps」の考え方も重要になってきている。LLMOpsとは、大規模言語モデルを一貫して運用・管理する手法だ。「これを行わないと、ユーザーに品質の高いAIサービスを提供できない」とガオの代表取締役 嘉門 延親氏は言う。嘉門氏は、同社が販売・サポートするLLMOpsツール「Langfuse」によるトレーシングを中心に、現場で活かせるLLMOpsのベストプラクティスを、アプリの実コード例とともに解説した。