LLM Servingを支える技術

2025.07.22 13:34
Zenn.dev

ワシントン大学/Kotoba Technologiesの釜堀です。専門は機械学習システムで、LLMなどの推論を効率化する技術を研究・開発しています。 現代のLLMは莫大な計算・メモリを要するため、LLMを使ったサービスを提供する際には推論の効率性が非常に重要です。この分野はここ数年活発に研究されていて、vLLMやSGLangなど非常に...

検索

人気記事

2025.12.12 0:55
2025.12.11 22:17
2025.01.10 19:00
2025.12.11 10:37
2025.12.11 12:12

コメント一覧

まだコメントはありません。

コメント