マイクロソフトと清華大学が大規模言語モデル向けのDIFF Transformerを発表

2024.12.09 13:31

InfoQ.com

マイクロソフトAI と清華大学の研究者が、Differential Transformer (DIFF Transformer) という大規模言語モデルの性能向上を目的とした新しいアーキテクチャを発表した。同モデルでは、モデルによるコンテキスト処理の微調整や無関係な情報によるハルシネーションを最小限化することで、アテンション・メカニズムが向上している。 By Daniel Dominguez Translated by Takashi Kawase

記事全文へ

検索

人気記事

17名美國商界領袖隨特朗普訪華，尚未有大訂單浮出水面

2026.05.16 1:00

Anker、2Kカメラと8倍ズーム機能を搭載し水平360°/垂直90°撮影が可能なソーラーパネル分離式の室外セキュリティカメラ「Eufy eufyCam C37」を発売。

2026.05.15 23:48

アニメ・イラストに強い画像生成AI「Anima」の正式版がついに登場、タグ・自然言語両対応でSDXLやIllustrious系モデルが動作するPCなら余裕でローカル実行可能

2026.05.15 13:07

【弁明】炎上したソニーXperia 1 VIII、補足説明が加わる。

2026.05.15 21:43

キオクシア、「AI特需」で26年4～6月期は純利益47倍超を予想

2026.05.15 22:21

コメント一覧

まだコメントはありません。

コメント