1BitLLMの実力を見る｜shi3z

ツイート

1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。


Are all LLMs really 1.58 bits? Inference at 4x the speed or more?


Dive deep in to changes to the Transformer architecture to…