AIニュース
12GB VRAMで125Bモデルを動かす「Strata」の概要｜npaka
2026.10.02 7:53
Note.com
12GB VRAMで125Bモデルを動かす「Strata」の概要をまとめました。 1. はじめに ローカルLLMでは、GPUのVRAM容量が大きな制約になります。特に100Bを超えるモデルは、量子化しても一般的なGPUのVRAMだけで動かすのは困難です。 そこで登場したのが、AI推論エンジン「Strata」です。 Strataは、GPUとCPUで計算を分担し、VRAM・RAM・SSDを活用して、大規模なMoEモデルを一般的なPCで動かすことを狙ったオープンソースの推論エンジンです。 現在は「Qwen3…
検索
人気記事
コメント一覧
まだコメントはありません。