2025年 モデル進化白書：ロングコンテキスト、疎性、新アーキテクチャのポストTransformer時代

Model Release Cover
Model Release Cover

序文:
2023年から2024年にかけて、私たちはこう尋ねることに慣れていました。「このモデルは何十億パラメータですか？」
2025年までに、質問はこう変わりました。「このモデルは何冊の本を消化できますか？」そして「100万トークンを推論するのに何セントかかりますか？」

この質問の変化は、大規模言語モデル（LLM）が**「力技の美学」から「精密工学」**の段階へと移行したことを示しています。パラメータサイズの限界効用は逓減しており、アーキテクチャ効率、コンテキスト長、推論コストが新たな戦場となっています。この記事では、第一原理から2025年のAIモデル技術スタックの3つの核心トレンドを深く分析します。

第1章：コンテキスト革命：128kから「無限」へ

パラメータサイズがモデルの「IQ」を決定するなら、コンテキストウィンドウは「記憶力」と「作業台の大きさ」を決定します。2025年、数百万（1M+）トークンのコンテキストが標準となり、数千万（10M+）レベルも視野に入っています。

1.1 長さの制限を打ち破るコア技術

なぜ以前のモデルは長い本を読めなかったのでしょうか？TransformerのSelf-Attentionメカニズムの時間計算量が $O(N^2)$ だからです。入力長を2倍にすると、計算負荷とGPUメモリ使用量は4倍になります。

2025年の主流モデルは、以下の技術を通じてこの呪いを打ち破りました：

1.1.1 Ring Attention

これは分散トレーニングの勝利です。

  • 原理: 長いシーケンスを複数のブロックに分割し、アテンション計算のために異なるGPUに分散させ、GPU間で中間結果（Key/Valueブロック）を渡します。
  • 数学的美しさ: アテンションスコアを近似することなく、理論的に無限のシーケンスを処理できます。制限となるのはクラスターの総GPUメモリのみです。
  • エンジニアリング実装: 主流のフレームワーク（Megatron-LM、DeepSpeedなど）にはRing Attentionが組み込まれており、数千台のH100クラスターでの10Mコンテキストトレーニングが可能になっています。

1.1.2 RoPEスケーリングの進化（YaRNとLongRoPE）

位置エンコーディング（Positional Encoding）は、モデルが「最初の単語」と「10番目の単語」を区別するための鍵です。

  • NTK-Aware Scaled RoPE: 2024年に輝きを放ち、回転角の基数を動的に調整することで外挿を実現しました。
  • LongRoPE (2025): 不均一な補間戦略を通じて、短いテキストのパフォーマンスを低下させることなく、コンテキストウィンドウを8倍以上に拡張しました。「長いテキスト用に微調整すると短いテキストの能力が低下する」という業界の問題を解決しました。

1.2 「干し草の中の針」と「真ん中の消失」

長いウィンドウを持つことは、長いロジックを持つことを意味しません。

  • 真ん中の消失現象 (Lost in the Middle): 初期のロングコンテキストモデルは、最初と最後を覚えているものの、中間の情報を無視する傾向がありました。
  • 2025年の解決策:
    1. 合成データ: 合成データ（Synthetic Data）を使用して、「答えが真ん中に隠されている」トレーニングサンプルを具体的に構築します。
    2. 階層的圧縮: 人間の「長期記憶」と「ワーキングメモリ」に似たメカニズムを導入します。過去の情報を要約ベクトルに圧縮し、重要なインデックスのみを保持します。

第2章：疎性 (Sparsity)：MoEの完全支配

2025年、非常に特殊な研究目的を除いて、ゼロからDenseモデルのトレーニングを開始する企業はほとんどありません。Mixture of Experts (MoE) は、その極限のコストパフォーマンス比で、オープンソースとクローズドソースの両方の世界を支配しています。

2.1 MoEの経済学

  • Denseモデル: 100Bモデルのトレーニングでは、推論中のトークンごとに1000億のパラメータをアクティブにする必要があります。高価で遅いです。
  • MoEモデル: 総パラメータは500Bに達するかもしれませんが、64の小さな専門家で構成されています。推論中、各トークンは2つの専門家のみをアクティブにします（アクティブパラメータは約15B）。
  • 結果: あなたは500Bモデルの知識を持っていますが、15Bモデルの推論電気代を支払います。

2.2 2025年の新しいMoEバリアント

2.2.1 DeepSeek-V3ときめ細かな専門家

従来のMoEには8または16の専門家しかいませんでした。DeepSeekが提案したアーキテクチャは、専門家をはるかに細かくスライスし（例：256の専門家）、**共有専門家（Shared Experts）**を導入しました。

  • 共有専門家: ルーティングに関係なく、いくつかの固定された専門家が常にアクティブになります。彼らは一般的な文法的および論理的知識を捉える責任があります。
  • ルーティングされた専門家: 極めて垂直的なドメイン知識（「バロック建築史」や「Python非同期プログラミング」など）を担当します。

2.2.2 ロスレスロードバランシング

MoEは「専門家のホットスポット」を恐れます。リクエストの90%が同じ専門家に殺到すると、並列化の利点が失われます。

  • 補助損失: 以前は、ロードバランシングを強制するために補助損失関数が追加されていましたが、これはモデルのパフォーマンスを損ないました。
  • Expert-choice Routing: トークンが専門家を選ぶのではなく、専門家にトークンを選ばせること。これにより、負荷の不均衡問題が根本的に解決されました。

第3章：アーキテクチャ戦争：Transformerは本当に無敵か？

Transformerは（2017年以来）8年近くAIの世界を支配してきました。2025年、挑戦者たちはついにラボから産業界へと移行しました。線形アテンション（Linear Attention）と状態空間モデル（SSM）は、特定のドメインでTransformerを凌駕する可能性を示しています。

3.1 MambaとSSMの台頭

**Mamba（状態空間モデル）**は最も競争力のある挑戦者です。

  • コアアドバンテージ: 推論VRAM使用量は $O(1)$（定数）であり、Transformerの $O(N)$（長さに応じて増加）ではありません。これは、Mambaがメモリ不足になることなく無限のシーケンスを推論できることを意味します。
  • 2025年の進歩:
    • Jamba (Joint Attention Mamba): AI21 Labsによって立ち上げられたハイブリッドアーキテクチャ。最下層の80%にMambaを使用して大規模なコンテキストを処理し、上位20%にAttentionを使用して「想起能力」を強化します。このハイブリッドアーキテクチャは、現在のコストパフォーマンスの最適解であることが証明されています。
    • コード生成アプリケーション: コードは非常に長いコンテキスト（リポジトリ全体）に依存するため、SSMアーキテクチャはコード補完タスクで初めて同じパラメータサイズのTransformerを上回りました。

3.2 RWKV：RNNのルネサンス

RWKV (Receptance Weighted Key Value) は、並列トレーニング技術によって強化されたRNN（再帰型ニューラルネットワーク）が依然として手強い存在であることを証明しました。

  • 利点: 極めて低い推論VRAM使用量、極めて高速なトークン生成速度、そして完全にオープンソース。
  • エコシステム: 2025年、RWKVコミュニティはすでに14B、さらには30Bのモデルを生み出しており、エッジデバイス（スマートフォン、Raspberry Pi）に推奨されるアーキテクチャとなっています。

第4章：評価システムの崩壊と再構築

モデル能力の向上に伴い、従来のベンチマーク（MMLU、GSM8Kなど）は機能しなくなりました。現在のモデルはこれらのリーダーボードで簡単に90+のスコアを出しますが、深刻なスコアインフレと「問題の刷り込み」（データ汚染）に苦しんでいます。

4.1 2025年の次世代評価基準

4.1.1 動的ベンチマーク

  • LiveCodeBench: LeetCodeやGitHubの毎週の新しい問題からテスト問題を抽出します。モデルがこれらをトレーニングデータで見たことはあり得ません（昨日公開されたばかりだからです）。
  • Chatbot Arenaの重み付け: 実際の人間の知覚に基づくブラインドテスト（Eloレーティング）が、唯一認められる「ゴールドスタンダード」となりました。

4.1.2 シナリオベースの長文評価 (Needle In A Haystack ++)

単なる「名前探し」ではなく、モデルに100の財務報告書を読ませ、次のように答えさせる必要があります。「2023年第2四半期の為替変動を2024年第1四半期に従って計算した場合、この会社の純利益はどうなりますか？」
このマルチホップ推論能力こそが、エンタープライズアプリケーションが真に気にするものです。

第5章：業界の洞察：企業はどう選ぶべきか？

上記の技術トレンドに基づき、2025年の企業のAI選定について以下の提案を行います：

  1. パラメータサイズを崇拝しない: 特定のタスク（請求書情報の抽出など）では、高品質なデータで微調整された7B MoEモデルが、2桁低いコストで70B汎用モデルを上回ることがよくあります。
  2. Long Context > RAG?: 10万語未満のドキュメントの場合、RAG（スライスと検索）よりもロングコンテキストウィンドウに直接放り込む方が通常はうまくいきます。RAGの未来は「単一ドキュメントQA」ではなく、「大規模ナレッジベース」（TBレベル）にあります。
  3. ハイブリッドアーキテクチャを受け入れる: Mamba-Transformerハイブリッドモデルに注目してください。これらは将来のコスト削減と効率化の鍵となる可能性があります。

結論

2025年のモデル進化は、もはやGoogleとOpenAIだけが参加できる「神々の戦い」ではありません。
MoEの普及、アーキテクチャの多様化、トレーニング技術の分散化により、私たちは**「カンブリア爆発」**の時代に入っています。あらゆるアーキテクチャとサイズのモデルが、それぞれの生態学的ニッチを見つけることができます。開発者にとって、これは単なる選択の難しさではなく、創造性の解放です。

このドキュメントは、2025年第1四半期の公開技術文献およびarXivプレプリントに基づき、Augmunt先端技術研究所によって執筆されました。無断転載を禁じます。