RakutenAI-3.0とDeepSeek-V3の関係性について - おそらくLoRA適用モデル｜はまち

ツイート

1.はじめに 2024年、Rakutenが「RakutenAI-3.0」として大規模言語モデルを発表しました。しかし、技術者の間では「既存モデルとの類似性」について疑問の声が上がっていました。 本レポートは、RakutenAI-3.0とDeepSeek-V3を比較検証した結果をまとめました。 調査のスコープ モデル重み（パラメータ）の定量的比較 アーキテクチャ・設定の詳細分析 LoRA（Low-Rank Adaptation）技術の実装調査 670億パラメータ×61層の包括的検…