ローカルLLMのためのメモリ基礎知識｜npaka

ツイート

ローカルLLMのためのメモリ基礎知識をまとめました。 1. CPU・GPU とメモリ 1-1. CPU・GPU・RAM・VRAMの役割 PCのスペックでは、 CPU / GPU / RAM / VRAM という4つの言葉がよく出てきます。 まず押さえておきたいのは、これらは同じ種類の部品ではないということです。 ・CPU・GPU → 計算を行う装置 ・RAM・VRAM → 計算に使うデータを一時的に置くメモリ 一般的なPCでは、 ・CPU → RAMを主に利用 ・GPU → VRAM…