大規模言語モデルを単一ファイルで配布・実行する「llamafile」のバージョン0.7で処理能力が最大10倍高速化

2024.04.02 13:39
Livedoor.com

大規模言語モデル(LLM)をわずか4GBほどの実行ファイル1つで手軽に配布・実行できるようにしたパッケージ「llamafile v0.7」が公開されました。このバージョンではCPUとGPU両方の計算性能と計算精度が向上しており、命令セットアーキテクチャ「AVX-512」のサポートにより、AMDの「Zen4」アーキテクチャ採用CPUなどでプロンプト処理時間が10倍高速化されるとのことです。Release llamafile v0.7 · Mozilla-Ocho/llamafile · GitHubhttps://…

検索

人気記事

2026.05.05 11:04
2026.08.23 19:08
2026.11.20 18:39
2026.11.20 9:50
2026.11.20 17:09

コメント一覧

まだコメントはありません。

コメント