WebRTC を使用して複数のサーバー間で対話する際、ネイティブの WebRTC 統計情報は最初のホップ（つまり、クライアントから最初のサーバーまで）の遅延データのみを提供します。この統計情報は実際の遅延状況を完全に反映することができません。より正確なエンドツーエンドの遅延測定を得るためには、以下のいくつかの側面を考慮する必要があります：
- 最初のクライアントから最初のサーバーまでの遅延。
- 各サーバー間の遅延。
- 最後のサーバーからターゲットクライアントまでの遅延。
これにより、全体の通信リンクの遅延状況をより包括的に理解できます。
エンドツーエンドの遅延を測定することは、WebRTC スタックによって自動的に提供されないため、はるかに難しいです。
全体の遅延（キャプチャとレンダリングエンドによる遅延を含む）を測定するには、WebRTC getStats API が提供するいくつかの追加指標を計算に含めることができます。例えば：
- jitterBufferDelay：ジッターバッファの遅延。
- playoutDelay：再生遅延。
- packetSendDelay：パケット送信遅延。
これらの指標は、キャプチャから最終レンダリングまでの全体の遅延リンクをより包括的に評価するのに役立ちます。
特定のシーンでは、前処理メディア部分も追加の遅延を引き起こすことがあります。例えば：
- 美顔、フィルター：ビデオをキャプチャした後に画面を美化し、エフェクトを追加するために追加の計算が必要で、処理時間が増加します。これはライブ配信シーンでよく使用されます。
- バーチャル背景：キャプチャした画面をぼかして背景を処理することが多く、ビデオ会議シーンで使用されます。
- 合流融屏：複数のキャプチャ画面を結合して単一の画面にすることも、ある程度の遅延を引き起こします。
- AI および CV 処理：顔認識、姿勢認識、物体認識などのコンピュータビジョンアルゴリズムは、遅延を大幅に増加させます。
- 音声関連：エコーキャンセリング、ノイズ抑制などの処理も一定の音声遅延を引き起こします。
上記の遅延に加えて、キャプチャとレンダリングを実行するソフトウェアも遅延を引き起こす可能性があります。
ほとんどの場合、測定されるのは往復時間（RTT）であり、それを 2 で割って単方向遅延の良好な推定値とします。この方法は、実際のアプリケーションで、ある点から別の点への遅延を推定するためによく使用されます。
キャプチャ遅延（Capture Delay）：
入力デバイス（カメラやマイクなど）からデータをキャプチャし始めてから、データがアプリケーションに送信されるまでの時間。
エンコーディング遅延（Encoding Delay）：
データが圧縮形式にエンコードされるまでの時間。これには、ビデオまたは音声ストリームのエンコードプロセスが含まれます。
伝送遅延（Transmission Delay）：
データが送信側から受信側に送信されるまでの時間。これには、ネットワーク伝送時間と中間サーバーの処理時間が含まれます。
ジッターバッファ遅延（Jitter Buffer Delay）：
受信側で、ジッターバッファはネットワークのジッタによって引き起こされる遅延の変化を平滑化するために使用され、その導入された遅延時間。
再生遅延（Playout Delay）：
受信側がデータを受信してから再生を開始するまでの時間。これには、受信およびデコードプロセス中の遅延が含まれます。
デコーディング遅延（Decoding Delay）：
データがエンコード形式から再生可能な形式にデコードされるまでの時間。
レンダリング遅延（Rendering Delay）：
デコードからデータが実際にレンダリングまたは表示されるまでの時間。これには、画面のリフレッシュと画像のレンダリングの時間が含まれます。
往復時間（Round-Trip Time, RTT）：
送信側がデータを送信してから受信側が受信し、受信側から送信側に戻るまでの総時間。通常、単方向遅延の半分を推定するために使用されます。
これらの要因に対処するために、一連の関連する最適化措置を提案します：
1. 分散サービスの展開#
目標：グローバルサーバーレイアウトを最適化し、ネットワーク遅延を減少させ、サービスの可用性とパフォーマンスを向上させる
- 近接接続と配信：グローバルに地域サーバーを展開し、国を越えた接続による遅延を減少させる
- サービス間のルーティングホップ数を減少させる
- 最適なサーバーパスを選択する
- 負荷分散を実現する：ユーザーリクエストを合理的に配分し、単一のサーバーへの負担を避ける
2. ネットワークレベルの最適化#
目標：ネットワーク伝送の質と効率を向上させる
- リンク品質を動的に監視する
- 低品質のリンクを特定し回避する
- アクセスサービスを最適化する
3. アプリケーションレベルの最適化#
目標：アプリケーションの処理効率を向上させ、遅延を減少させる
3.1 パフォーマンス最適化#
- データコピーを減少させる
- 不要な計算と処理時間を減少させる
- アセンブリまたはマルチメディアアセンブリ命令を使用してデータの直列並列処理能力を向上させる
3.2 ジッターバッファ最適化#
目標：ネットワークのジッタと再生の滑らかさのバランスを取る
- ジッターバッファのサイズを動的に調整する：現在のネットワークのジッタに応じて調整し、ネットワークの変動による遅延を減少させる
- バッファ時間を最小化する：滑らかな再生を保証しつつ、ジッターバッファ時間をできるだけ短縮する
4. メディア処理の最適化#
目標：メディア処理の効率を向上させ、異なるネットワーク環境に適応する
- ハードウェアアクセラレーション：GPU、FPGA、または専用ハードウェアアクセラレーター（ハードエンコーディング / デコーディング）を使用してメディアのエンコードと処理を行い、CPU の負担を減少させる
- 自適応ビットレート：ネットワーク条件に応じてビデオ品質（解像度 / フレームレート）とビットレートを動的に調整する
- インテリジェントエンコーディング：より効率的なエンコーディングアルゴリズム（ROI エンコーディング）やエンコーダーを使用し、AV1、VP9、または H.265 などのデータ量を減少させながら品質を保証する
5. 伝送の最適化#
目標：データ伝送の効率と安全性を向上させる
- SRTP 暗号化の最適化：より効率的な暗号化アルゴリズムを使用するか、暗号化の実装を最適化し、暗号化と復号化による遅延を減少させる
- パッケージサイズを減少させる：データパッケージのサイズを適度に減少させ、ネットワーク伝送中の遅延を低下させる
6. P2P の最適化#
目標：サーバーの負担を減少させ、ピアツーピア通信の効率を向上させる
- 直結パス：可能な限り P2P（ピアツーピア）接続を使用し、サーバーを経由する中継を避ける
- ICE 候補の優先選択：ICE 候補の交渉において、遅延が最も低いパスを優先的に選択する
7. ユーザー体験の最適化#
目標：ユーザーの満足度を向上させ、知覚遅延を減少させる
- 遅延隠蔽技術：補間、予測などのさまざまな遅延隠蔽技術を実施し、ユーザー体験を改善する
- UI/UX の最適化：迅速に応答するユーザーインターフェースを設計し、知覚遅延を減少させる
- ネットワーク接続：可能な限り有線ネットワークを使用し、相対的に WIFI や 4/5G よりも高い安定性を持つ
8. ネットワークセキュリティの最適化#
目標：安全性を確保しつつ、パフォーマンスへの影響を最小限に抑える
- ファイアウォールルールの最適化：セキュリティ対策がネットワークパフォーマンスに過度に影響を与えないようにする
- 効率的な暗号化アルゴリズムの使用：迅速に暗号化と復号化が可能なアルゴリズムを選択し、セキュリティ処理による遅延を減少させる