「Llama 2-7B」の1万分の1以下の学習コストなのにLlama 2-7Bを上回る大規模言語モデル「JetMoE-8B」が登場

ツイート

数千億円をかけた訓練リソースを用いるMetaの「Llama 2-7B」を上回る性能を持ちながら、学習コストは1000万円以下に抑えられるという大規模言語モデル「JetMoE-8B」が登場しました。JetMoEhttps://research.myshell.ai/jetmoeGitHub - myshell-ai/JetMoE: Reaching LLaMA2 Performance with 0.1M Dollarshttps://github.com/myshell-ai/JetMoEjetmoe/jetmo…