巨大なLLMモデルをマルチGPUで動かす！～モデル分割方法による速度の違い～｜AIサトシ

ツイート

meta-llama/Meta-Llama-3.1-405B-Instruct · Hugging Face


We’re on a journey to advance and democratize artificial inte


huggingface.co




Metaが405BのLLMをリリースし、オープンLLMにも巨大なモデルが増えてきました。 スケーリング則に従い、巨大になるほど精細になり、能力も増えます。 すべて巨大なモデルで推論処理を続けたいのですが、 巨大になった時、メモリに載ら…