vLLMで独自実装モデルを高速推論させる

2024.12.04 19:53
Zenn.dev

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルに...

検索

人気記事

2026.05.23 6:00
2026.05.23 6:00
2026.05.22 17:50
2026.05.23 6:00
2026.05.22 23:53

コメント一覧

まだコメントはありません。

コメント