Nemotron 3.5 Lightning の LLM ルーター判定役を、投機デコード、Jev への置き換え、1 トークン読みの SFT で速くしてみました。同じ重みで 1.18 秒が 0.95 秒、1 トークン化で 0.25 秒。速さは読み出しの形で決まり、判定の質は学習データの課題の形で決まりました。
アンソロピック、評価額141兆円でOpenAI超えへ──人類史上最大の資金調達ラウンド(Forbes JAPAN) - Yahoo!ニュース
「山の木の実ぜんぶ乗せフルーツタルト」を作った動画をアップしたら、「サムネがAIっぽい」と批判されてしまった「知らないものはAIに見える時代になった?」
Web版M5Burnerを利用して、StackChanを工場出荷時ファームウェアに戻す
【衝撃画像】アイドル候補生(148センチ、132キロ)太りすぎて膝が無くなる⇒!
【悲報】パナソニック従業員、利用禁止のAIに33万人分の個人情報をアップロードしてしまう
まだコメントはありません。
コメントを送信しました。