1bit LLM の時代は来るのか,来ないのか,どっちなんだい?|情報処理学会・学会誌「情報処理」

2024.04.04 18:39
Note.com

徳永拓之(LeapMind(株)) 1bit LLMの時代が来る?  2024 年2 月,The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され,にわかに話題となりました.“1.58 Bits” という表現はあまりなじみがありませんが,log₂(3) = 1.58 . . . ということで,パラメーターを三値にした場合の情報量を示しているようです.この論文(以下b1.58 論文とする…

検索

人気記事

2026.05.05 11:04
2026.08.23 19:08
2026.11.20 9:50
2026.11.13 22:17
2026.11.19 22:44

コメント一覧

まだコメントはありません。

コメント