vLLMで独自実装モデルを高速推論させる

2024.12.04 19:53
Zenn.dev

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルに...

検索

人気記事

2025.01.10 19:00
2025.06.22 15:32
2025.06.22 23:00
2025.06.22 16:00
2025.06.18 12:10

コメント一覧

まだコメントはありません。

コメント