[Amazon SageMaker AI] 教師 gpt-oss-20b → 生徒 Llama 3.2 1B の応答蒸留(レスポンス蒸留)を試してみました

2026.08.29 18:04
Classmethod.jp

大規模言語モデル(教師 gpt-oss-20b)の知識を小規模モデル(生徒 Llama 3.2 1B)に移す「応答蒸留」を、異なるプロバイダー間で実装してみました。生徒の精度が大幅に向上し、さらには教師を上回る結果も得られました。

検索

人気記事

2026.05.05 11:04
2026.08.06 13:01
2026.09.04 19:28
2026.08.20 10:35
2026.09.04 14:04

コメント一覧

まだコメントはありません。

コメント