社内にLiteLLM Proxy（OSS版）を導入してマルチプロバイダLLM運用基盤を作った話

ツイート

はじめに この記事は SRE 連載の 4月号です。 3月の記事は id:chaya2z さんの GigaViewer の配信基盤を支えるマルチテナントアーキテクチャでした。 こんにちは システムプラットフォームチーム でSREをしています id:k1s1eee です。 弊社では現在、エンジニアだけでなくデザイナーやプロダクトマネージャーなど、職種を問わず広くLLM（大規模言語モデル）を業務に活用しています。 組織が大きくなるにつれ「誰が・どのモデルを・どれだけ使っているか把握できない」「プロバイダーが増えるたびに…