教師なし動画ドメイン適応（Unsupervised Video Domain Adaptation: UVDA）は、ラベル付きのソースドメインで学習した行動認識分類器を、ラベルのないターゲットドメインへ適応させることを目的としています。実際には、ドメインシフトは少なくとも次の2つの要因から生じます。

• 背景、照明、カメラスタイル、シーンバイアスなどの空間的・静的な違い
• 動きの統計特性、行動のテンポ、時系列の順序情報などの時間的・動的な違い

従来の多くのUVDA手法は、複数の損失関数やモジュールを用いてこれら両方を同時に扱おうとします。しかし、その結果としてハイパーパラメータ調整のコストが増加し、実運用への導入が難しくなるという課題がありました。

MetaTransは、よりシンプルな視点からこの問題を再考します。すべてを単一の表現で処理しようとするのではなく、「静的な情報」と「時間的な情報」を明示的に分離し、本当に転移すべき部分だけを適応させるのです。

MetaTransの紹介

MetaTransは、標準的な動画バックボーンに組み込める2ストリームTransformerモジュールです。その中核となる操作は**静的・動的差分（static-dynamic subtraction）**です。

順序に依存しないストリームがクリップ全体の静的なノイズ要因を推定し、その推定結果を順序情報を保持する時間ストリームから差し引くことで、動的情報が支配的な残差表現を構築します。

MetaTransは、精度と実装のシンプルさの両方が重要なUVDA環境を想定して設計されています。例えば以下のようなケースです。

• データセット間での行動認識モデル適応（例：UCF-HMDB）
• 環境やカメラ設定の異なるドメイン間適応（例：EPIC-Kitchens）
• 学習時の効率向上（損失関数の重みやハイパーパラメータ探索回数の削減）
• ソースとターゲットで静的な特徴が大きく異なる状況での頑健な適応

コアアイデア：転移すべきでないものを差し引く

MetaTransは、アーキテクチャ自体に静的・時間的分離を組み込んでいます。

時間ストリーム (M_1) は位置埋め込み（positional embeddings）を受け取り、順序情報を考慮したトークン表現を生成します。一方、静的ストリーム (M_2) は位置埋め込みを除去し、時間方向に集約することで、構造的に順序不変（permutation-invariant）な表現を生成します。

残差トークンは次式で定義されます。F_t = M_1(X+P)_t - M_2(X) この残差表現は、動作やモーションに関する情報を保持しつつ、ドメイン固有の静的バイアスを抑制することを目的としています。

なぜ静的ストリームは順序不変なのか

位置埋め込みを持たないTransformerエンコーダは、トークン順序に対して置換同変（permutation-equivariant）な性質を持ちます。つまり、入力トークンを並び替えると、出力も同じように並び替わります。

さらに平均プーリングを適用すると、最終出力は順序不変（permutation-invariant）になります。

これは重要な性質です。静的なノイズ要因は、本来フレームの順序に依存すべきではないからです。MetaTransは、追加の正則化項を導入する代わりに、この構造的制約を利用しています。

理論的な説明：Proposition 3からProposition 2へ

理論解析は2段階で構成されています。

まずProposition 3では、静的ストリーム (M_2) が静的成分 (s) をどのような条件で安定的に推定できるかを示します。加法モデル x_t = s + u_t仮定し、変動成分 (u_t) が平均ゼロである場合、さらに穏やかなキャリブレーション条件と平均安定性条件のもとで、推定誤差|M_2(X)-s|はクリップ長 (T) の増加とともに集中し、小さなキャリブレーション誤差を除いて縮小していきます。

続くProposition 2では、静的成分を差し引いた後の残差トークン (F_t) におけるドメイン間距離（例えばWasserstein距離）が、理想的な残差表現の距離に加え、ソース・ターゲット双方における静的推定誤差に比例する項で上界付けられることを示します。

これらを組み合わせることで、「高品質な静的推定を差し引くことで、敵対的ドメイン適応（adversarial alignment）の負担を軽減できる」という理論的根拠が得られます。

実験結果

MetaTransは、UCF-HMDBやEPIC-Kitchensのドメイン分割を含む標準的なUVDAベンチマークで評価されました。

各タスクにおいて、MetaTransは強力な既存UVDA手法と同等またはそれ以上の性能を達成しながら、よりシンプルなチューニングで運用可能であることが示されました。

また、本研究では**RGRA（Relative Gain per Running Attempt）**という実践的な効率指標も提案しています。これは、ハイパーパラメータ調整に要した試行回数あたり、どれだけ性能向上が得られたかを測定する指標です。

この評価を通じて、よりシンプルな学習目的関数が、実際の運用環境では優位性を持つ場合があることが示されています。

今後の展望

MetaTransは、教師なし動画ドメイン適応が必ずしも多数の補助損失関数を必要としないことを示しています。アーキテクチャ自体が静的ノイズと動的情報を分離するよう設計されていれば、既存のドメイン適応手法もより効果的に機能します。

今後の研究方向としては、光フローや音声などを含むマルチモーダル入力への拡張、より高度な時間的推論モジュールの導入、そして多様なドメインシフト環境でのさらなる評価が挙げられます。

‍