AIニュース
英語以外の言語を使うとAIモデルのコストは高くなる
2026.10.27 11:45
Livedoor.com
大手企業のAIはたいていの場合、主に英語のデータセットを中心に学習しています。新たな研究で、英語であれば適切に処理できるAIが、データが少ない少数言語を処理するときにコストが高くなってしまう可能性があることが示されました。The Tokenizer Tax | CLEARhttps://clear-languages.org/blog/the-tokenizer-tax昨今の生成AIの基盤となる大規模言語モデル(LLM)は、トークナイザーと呼ばれる処理により、文章を単語ごとや文字ごと、場合によってはバイト単位に分…
検索
人気記事
コメント一覧
まだコメントはありません。