AIニュース

自動化するLLMシステムの品質管理: LLM-as-a-judge の作り方 - Gaudiy Tech Blog

2024.10.22 11:15
Gaudiy.com
このエントリーをはてなブックマークに追加

こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 LLM-as-a-Judge、名前の通り何かしらの評価にLLMを使う手法です。 LLMは非構造化データでもうまいこと解釈してくれる優れものなため、通常のプログラミングでは判断することが難しいことでも、それらしき判断やスコアをつけてくれます。 本記事ではそんなLLM-as-a-Judgeを、LLMを使ったシステムの振る舞いの改善の確認 and デグレ検知目的で作っていく際の、私なりの流れ…

記事全文へ

検索

人気記事

ドSで悪の幹部の魔法少女にマゾ調教されて下僕にされてしまう音声作品「魔法少女の悪のヒミツを知ったらマゾ調教されて下僕になる話♪」

2024.07.29 19:00

【ウェビナー シリーズ】Surface で描くこれからの働き方～ AI 活用とデバイス管理・セキュリティの最前線～

2024.01.09 17:30

PS5のコントローラーで自動車を運転するソニーのデモが話題 「マジか」「R3ボタンでドリフトできるかな？」

2024.01.09 19:00

Amazon RedshiftへのAurora MySQL zero-ETLが一般提供を開始しました

2023.11.08 10:46

dbt-athenaでHIVEテーブルに一度に100を超えるパーティションの書き込みができるか確認してみた

2023.11.05 14:16

コメント一覧

まだコメントはありません。

コメント