Ollama で Hugging Face Hub の GGUF をそのまま使ってみる｜ぬこぬこ

2024.10.17 6:36

Note.com

tl;dr Ollama で Modelfile を作成することなく、Hugging Face Hub で公開されている GGUF 形式のモデルをそのまま動かせるようになったよやり方は簡単で ollama run hf.co/{ユーザー名}/{リポジトリ名} とするだけ量子化タイプの指定はデフォルト Q4_K_M で好きなタイプも指定可チャットテンプレートはデフォルトは GGUF 内ビルトインテンプレートで自分で指定することも可

Use Ollama with any G…

記事全文へ

検索

人気記事

Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog

2024.04.20 18:11

ドSで悪の幹部の魔法少女にマゾ調教されて下僕にされてしまう音声作品「魔法少女の悪のヒミツを知ったらマゾ調教されて下僕になる話♪」

2024.07.29 19:00

【ウェビナーシリーズ】Surface で描くこれからの働き方～ AI 活用とデバイス管理・セキュリティの最前線～

2024.01.09 17:30

PS5のコントローラーで自動車を運転するソニーのデモが話題「マジか」「R3ボタンでドリフトできるかな？」

2024.01.09 19:00

Samsung、1月18日に午前3時にGalaxy S24発表へ。音声通話のリアルタイム翻訳に対応か

2024.01.03 8:52

コメント一覧

まだコメントはありません。

コメント