Ollama で Hugging Face Hub の GGUF をそのまま使ってみる|ぬこぬこ

2024.10.17 6:36
Note.com

tl;dr Ollama で Modelfile を作成することなく、Hugging Face Hub で公開されている GGUF 形式のモデルをそのまま動かせるようになったよ やり方は簡単で ollama run hf.co/{ユーザー名}/{リポジトリ名} とするだけ 量子化タイプの指定はデフォルト Q4_K_M で好きなタイプも指定可 チャットテンプレートはデフォルトは GGUF 内ビルトインテンプレートで自分で指定することも可


Use Ollama with any G…

検索

人気記事

2026.05.05 11:04
2026.08.23 19:08
2026.11.17 1:33
2026.11.16 20:18
2026.11.16 21:40

コメント一覧

まだコメントはありません。

コメント