巨大なLLMモデルをマルチGPUで動かす!~モデル分割方法による速度の違い~|AIサトシ

2024.08.25 12:20
Note.com

meta-llama/Meta-Llama-3.1-405B-Instruct · Hugging Face


We’re on a journey to advance and democratize artificial inte


huggingface.co




Metaが405BのLLMをリリースし、オープンLLMにも巨大なモデルが増えてきました。 スケーリング則に従い、巨大になるほど精細になり、能力も増えます。 すべて巨大なモデルで推論処理を続けたいのですが、 巨大になった時、メモリに載ら…

検索

人気記事

2026.05.05 11:04
2026.08.23 19:08
2026.11.17 8:04
2026.11.17 1:33
2026.11.16 20:18

コメント一覧

まだコメントはありません。

コメント