Qwen3.6-35B-A3B を Amazon SageMaker で動かしてストリーミング応答を得てみた

2026.07.26 15:26
Classmethod.jp

Qwen3.6 の Q4_K_M GGUF を ml.g5.2xlarge の 24 GB GPU へロードし、回答を逐次受信できました。ウォーム TTFT は 2,058 ms でした。

検索

人気記事

2026.05.05 11:04
2026.09.13 0:00
2026.09.12 23:33
2026.09.12 23:39
2026.09.12 18:10

コメント一覧

まだコメントはありません。

コメント