GreenBoost──12GBのGPUで32GBのAIモデルを動かす挑戦｜情報の灯台

ツイート

VRAMが足りない。ローカルAIを触ったことがある人なら、一度はぶつかる壁だ。その壁に、一人の開発者がカーネルモジュールで穴を開けた。 「買い替えろ」以外の選択肢 RTX 5070のVRAMは12GB。一方、ローカルで動かしたいLLMは膨らみ続けている。たとえばglm-4.7-flashのq8_0量子化モデルは31.8GB。どう計算しても収まらない。 これまでの選択肢は3つしかなかった。レイヤーをCPU側にオフロードすればトークン生成速度は5〜10分の1に落ちる。量子化をさらに下げればモデルの品質が目に見え…