巨大なLLMモデルをマルチGPUで動かす！～モデル分割方法による速度の違い～｜AIサトシ

2024.08.25 12:20

Note.com

meta-llama/Meta-Llama-3.1-405B-Instruct · Hugging Face

We’re on a journey to advance and democratize artificial inte

huggingface.co

Metaが405BのLLMをリリースし、オープンLLMにも巨大なモデルが増えてきました。スケーリング則に従い、巨大になるほど精細になり、能力も増えます。すべて巨大なモデルで推論処理を続けたいのですが、巨大になった時、メモリに載ら…

記事全文へ

検索

人気記事

Gemini Advancedが4カ月無料になる招待キャンペーン

2024.09.18 16:08

動画生成AI「Sora」のバグがキモすぎるｗｗｗｗ脳がおかしくなりそう。

2024.02.17 22:00

株式会社第一興商三代目 J SOUL BROTHERSが「ライビュー！」に登場！3公演のライブ映像をカラオケで楽しもう！

2023.10.30 12:00

株式会社大塚商会【大塚商会】生成AIとdotData独自のAIで実現する新しいデータ分析の体験セミナーを開催

2024.09.13 13:00

【＃誰がなっても自民は悪党】能登半島地震で甚大な被害が出た被災地を記録的な大雨が直撃。そんな中、岸田文雄首相が輪島を訪れてニコニコしながら「頑張りましょう」と能天気な復興へのメッセージ（呆）。

2024.09.22 4:00

コメント一覧

まだコメントはありません。

コメント