Nemotron 3.5 Lightning の判定役を、Jev のように生成しない 1 トークン判定にしてみた

2026.09.23 15:53
Classmethod.jp

Nemotron 3.5 Lightning の LLM ルーター判定役を、投機デコード、Jev への置き換え、1 トークン読みの SFT で速くしてみました。同じ重みで 1.18 秒が 0.95 秒、1 トークン化で 0.25 秒。速さは読み出しの形で決まり、判定の質は学習データの課題の形で決まりました。

検索

人気記事

2026.05.05 11:04
2026.10.25 23:19
2026.10.25 23:05
2026.10.22 19:35
2026.10.23 23:40

コメント一覧

まだコメントはありません。

コメント