グローバルAIゲートウェイアーキテクチャ：エントランスから課金記録までの完全なリンク

前書き:
グローバルなマルチリージョン展開が可能で、動的なクロスベンダールーティングをサポートするAIゲートウェイシステムを構築する際、地域化されたクラスターを物理的に単純に積み重ねるだけでは、分散システムにおける多くの課題を真に解決できないことに私たちはすぐに気づきました。

真の技術的な課題は、リンクの完全性と一貫性にあります。大量のリクエストがさまざまな地域から入り、複雑で変動するネットワーク環境を複数のエントランスプロバイダー経由で通過する場合、ゲートウェイ内部のスケジューリングおよび制御プラグインは、DCDNや地域ゲートウェイクラスターとどのように深く連携すべきでしょうか。これは、「エントランスの安定性」、「クロスベンダースケジューリング能力」、および「極端な障害シナリオにおける可用性」の観点から、システムが連続的で自己一貫性のある高度に制御可能な技術リンクを形成できるかどうかを直接決定します。

この記事では、リクエストの自然な流れをたどり、グローバルなDCDNエントランス層から始まり、地域ゲートウェイとノード内のアトミックスケジューリングロジックを深く掘り下げ、最終的にUsage（課金と消費）イベントの集計と決済に着地するまで、その層を一枚一枚剥がしていきます。複雑さと強力な一貫性の間で、このシステムがどのように絶妙なバランスを取っているかを示そうと試みます。

1. グローバルトポロジ：3層構造の背後にあるリンク哲学

1万メートルの高さからこのシステムを見ると、そのコアとなる命題は、明確でありながら高度に連携したリンクに凝縮することができます。

論理的に、このアーキテクチャは厳密に3つの層に分かれています。

グローバルエントランス層: 複数のDCDNエッジノードを利用して、できるだけ近く、速く、安定してトラフィックを「キャッチ」します。
地域ゲートウェイクラスター: 地理的な位置、リアルタイムのヘルス状態、およびトラフィックポリシーに基づいて地域ルーティングを実行します。地域内での認証、リスクコントロール、テナントマッピング、およびきめ細かいベンダー選択を処理します。
ノード内部のスケジューリングと制御層: 統一された状態の一貫性ビューの下で最終的な呼び出し決定とディザスタリカバリフォールバック（Fallback）を実行し、呼び出しサイクルのすべてのデータスライスが漏れなくUsageログに変換されるようにします。

最初の2つの層は**「トラフィックがどこに着地し、どの地域に行くべきか」というマクロな問題を解決し、3つ目の層は「地域内でいかに安定して実行するか、いかにリプレイ攻撃を防ぐか、いかに課金の事実の絶対的な正確性を保証するか」**というミクロな課題を完結させます。

2. グローバルエントランス層：マルチパスのフォールトトレランスと動的ルーティング

エントランス層の主なタスクは、世界中のどこからでも、最小の遅延と最大の可用性でユーザーのAPIリクエストを傍受して吸収することです。これを達成するために、単純なCDNの積み重ねは無力です。エントランスには、基盤となる物理ネットワークの変動に対する非常に敏感な感覚と、秒レベルのルーティング調整戦略が必要です。

コア設計理念：

統一されたアクセスプレーンと多重冗長性: 外部には単一のサービスドメイン名のみを公開し、その背後には複数のトップクラスDCDNプロバイダーによって構成される異種エントランスネットワークが存在します。
リアルタイムプロービングと動的重み付け: エントランス層は高頻度のハートビート検出を維持し、エッジの可用性、リンク遅延、TCPパケットロス率を含む多次元のメトリクスを収集します。ネットワークの揺らぎを感知すると、トラフィックスケジューラーは自動的にトラフィックの重みのスムーズな移行を実行します。
脱中心化: Cloudflareのような世界規模のCDNは、アーキテクチャ内では絶対的な単一の依存ポイントではなく、「優先順位の高い代替可能なパス」としてのみ定義されます。特定のPoPに障害が発生した場合、自社構築の高可用性エントランスと他のDCDNが即座にトラフィックを引き継ぐことができます。

3. 地域ゲートウェイ層：同一コード、ポリシー配布、および地域自治

リクエストが海を無事に越え、指定された地域にスムーズに着地すると、その地域の専用ゲートウェイクラスター（Gateway Node）に引き継がれます。このレベルでは、すべての地域クラスターはピアツーピアアーキテクチャを維持し、完全に同一のコアエンジンコードを実行します。

その本質は、**「グローバルなポリシー配布＋高度な地域自治」**にあります。管理プレーンはビジネスポリシービューを各地域に均一に配布し、ノードクラスターはこれらのビューと自身の地域のネットワーク特性に基づいて「サイト固有」のチューニング（例：この地域のAIベンダーを優先する、特定のルートのプロキシプールを微調整する）を実行します。

地域クラスターは、主に3つの大きな責任を負っています。

境界防御: L7層で悪意のあるスキャンやトラフィックのピークを傍受するために、堅牢な基本認証およびリスクコントロール戦略を実行します。
コンテキストマッピング: 匿名リクエストを、対応するテナントプロファイルおよび製品ラインのSLAレベルに正確にマッピングします。
障害分離: 地域構成に従ってベンダーの選択を完了します。さらに重要なことに、このレベルで**境界のあるローカルサーキットブレーカーとフォールバック（Fallback）**を実行し、単一チャネルの可用性のジッターが壊滅的なクロスリージョンの雪崩に発展することを完全に防ぎます。

4. ノードスケジューリングプラグイン：識別、決定、および不変の記録の連続した流れ

地域ゲートウェイが体全体であるとすれば、ノードの内部に深く根付いているスケジューリング制御プラグインはその中枢神経系です。これは高度にアトマイズされた実行フローであり、厳密に3つの連続した段階に分かれています。

識別フェーズ（Identity & Context）: 呼び出し元のID、モデルの意図、およびサービスのQoSレベルを正確に識別します。
決定フェーズ（Atomic State & Decision）: グローバルに一貫した状態層でアトミックな控除を実行します。システムは、クォータレベル、並行性ロック、およびトークンバケットのレート制限を検証します。
記録フェーズ（Immutable Usage Event）: すべてのアクション（エントランスソース、着地リージョン、プライマリで選択されたベンダー、および発生したフォールバックリンク）は、不変のイベントフローに完全にカプセル化され、最終的にUsageデータバスに書き込まれます。

5. 極限のディザスタリカバリ：エントランスとゲートウェイの「二重のセーフティネット」

アーキテクチャ設計の初期段階で、私たちは「サードパーティのサービスは決してダウンしない」という幻想を捨てました。逆に、外部CDNとダウンストリームの大規模モデルAPIの両方が、いつでも局所的な麻痺のリスクを抱えていると想定しています。

エントランス層の自動修復: Cloudflareのようなプライマリネットワークの特定のPoPグループまたは地域全体で光ケーブルの融着レベルの異常が発生した場合、エントランス層のヘルスプローブは直ちにそのパスのヒューズを飛ばします。
ゲートウェイ層のグレースフルデグラデーション: リクエストが最終的にコアゲートウェイに到着したものの、ダウンストリームのAIベンダーのクラッシュに遭遇した場合、スケジューリングプラグイン内のFallbackポリシーがアクティブ化されます。

6. 課金とクォータの一貫性：状態実行者の哲学

商用AIゲートウェイにとって、課金の正確性は乗り越えられない越えてはならない一線です。このアーキテクチャでは：

ユーザーの資金クォータやRPM/TPMの並行性プールなどのすべての状態は、単一ノードのメモリ状態に依存することは決してなく、グローバルに一貫した状態クラスターに沈殿します。
ゲートウェイノード内のスケジューリングプラグインは、**「状態に対するアトミックな変更命令を実行するステートレスな実行者」**の役割を果たすだけです。

7. 結論：複雑なリンクの下にある秩序の美しさ

この巨大なシステムの設計理念を一言で要約すると、次のようになります：
単一コンポーネントが「決してダウンしない」という傲慢な仮定を、極端に階層化された多次元のフォールトトレランスとグローバルに一貫したアトミック状態管理に置き換える。

グローバルエントランス層は、大量のトラフィックが「入ってくることができ、ルーティングして逃がすことができる」ことを保証します。
地域ゲートウェイ層は、トラフィックが着地した後の「地域の自治ときめ細かい分散」を実現します。
ノードスケジューリングプラグインは、すべてのAPI呼び出しに「境界のあるアクション、保護された障害、および絶対に本物の記録」があることを保証します。

参考・交流:
私たちはこの完全な呼び出しシステムを本番環境で実際に大規模に着地させました。詳細については、Augmunt システム実装実践サイト (www.augmunt.com) をご覧ください。