iPhoneで最大120tok/s！3値化LLM「Ternary Bonsai 2」に2B/4B/9B登場

ツイート

フル精度の9分の1以下のサイズで、元モデルに近い性能を保つ小型LLMが登場した。PrismMLは10月15日(現地時間)、重みを3値化した言語モデル「Ternary Bonsai 2」シリーズに、パラメータ数2B(20億)、4B(40億)、9B(90億)の3モデルを追加した。Apache 2.0ライセンスのもと、オープンウェイト(モデルの重み)をHugging Faceで公開している。