Ollama で Hugging Face Hub の GGUF をそのまま使ってみる｜ぬこぬこ

ツイート

tl;dr Ollama で Modelfile を作成することなく、Hugging Face Hub で公開されている GGUF 形式のモデルをそのまま動かせるようになったよ やり方は簡単で ollama run hf.co/{ユーザー名}/{リポジトリ名} とするだけ 量子化タイプの指定はデフォルト Q4_K_M で好きなタイプも指定可 チャットテンプレートはデフォルトは GGUF 内ビルトインテンプレートで自分で指定することも可


Use Ollama with any G…