vLLMで独自実装モデルを高速推論させる

2024.12.04 19:53
Zenn.dev

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルに...

検索

人気記事

2024.01.12 16:00
2023.12.25 15:00
2024.02.21 8:44
2023.11.30 9:16
2024.04.01 11:00

コメント一覧

まだコメントはありません。

コメント