自宅PCでクラスターを構築:コンシューマーGPUの枠を超え、大型LLMをローカルで動かす!|AIサトシ

2024.04.22 15:11
Note.com

最近オープンになる大規模言語モデル(LLM)が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。


CohereForAI/c4ai-command-r-plus · Hugging Face


We’re o…

検索

人気記事

2026.05.05 11:04
2026.08.23 19:08
2026.11.19 8:08
2026.11.18 16:20
2026.11.18 17:59

コメント一覧

まだコメントはありません。

コメント