LLM Servingを支える技術

2025.07.22 13:34
Zenn.dev

ワシントン大学/Kotoba Technologiesの釜堀です。専門は機械学習システムで、LLMなどの推論を効率化する技術を研究・開発しています。 現代のLLMは莫大な計算・メモリを要するため、LLMを使ったサービスを提供する際には推論の効率性が非常に重要です。この分野はここ数年活発に研究されていて、vLLMやSGLangなど非常に...

検索

人気記事

2025.09.15 2:00
2025.09.14 23:31
2025.09.15 1:21
2025.09.14 15:06
2025.09.14 8:00

コメント一覧

まだコメントはありません。

コメント