AWS Trainium、AWS Inferentia が AWS 上の Llama 3.1 モデルに高性能と低コストを提供

ツイート

本日、AWS Trainium と AWS Inferentia による Llama 3.1 モデルのファインチューニングと推論のサポートを発表できることを嬉しく思います。Llama 3.1 ファミリーは、8B（80億）、70B（700億）、405B（4,050億）サイズの事前学習およびインストラクションチューニング済みの多言語大規模言語モデル（LLM）のコレクションです。 以前の投稿では、Amazon SageMaker JumpStart で AWS Trainium と Inferentia ベースのインス…