Home 論文解説: Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces
投稿
キャンセル

📄 論文解説: Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces

投稿日 30/04/2026
投稿者 0h-n0
21 分読了時間

論文概要（Abstract）

本記事は Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces (arXiv:2309.16597) の解説記事です。

本論文は、「異種探索空間」（ソースタスクとターゲットタスクで入力変数の数・型・スケールが異なる場合）間でのベイズ最適化転移学習を体系的に扱った研究です。著者らは、Multi-task GP with Product of Heterogeneous Dimension kernel（MPHD）を提案し、異なる次元数の空間を共通の潜在構造に埋め込むことで転移を可能にしています。HPO-Bの異種設定への拡張実験で、同種空間前提の既存手法に匹敵する性能を達成しています。

この記事は Zenn記事: DeltaBO: 知識転移でベイズ最適化を理論的に加速する手法の全体像 の深掘りです。

情報源

背景と動機（Background & Motivation）

転移学習BOの既存手法（DeltaBO、HyperBO、Practical Transfer BO、RGPEなど）の多くは、ソースタスクとターゲットタスクが同一の入力空間を共有することを暗黙的に仮定しています。しかし実務では、この仮定が成立しないケースが頻繁に発生します。

例えば、ハイパーパラメータチューニングにおいて：

  • アルゴリズムが異なる場合: SVMは $(C, \gamma)$ の2次元、Random Forestは $(n_\text{estimators}, \text{max_depth}, \text{min_samples_split})$ の3次元
  • モデル構造が異なる場合: 3層MLPと5層MLPではハイパーパラメータの数が異なる
  • 探索範囲が異なる場合: 同じ学習率でも $[10^{-5}, 10^{-1}]$ と $[10^{-4}, 10^{-2}]$ ではスケールが異なる

DeltaBO（arXiv:2511.03125）は異なるRKHS（カーネル）をソースとターゲットに許容しますが、入力空間の次元数自体が異なる場合には適用できません。本論文はこの「異種探索空間」問題に正面から取り組んでいます。

主要な貢献（Key Contributions）

  • 貢献1: 異種探索空間間でのBO転移学習を初めて体系的に定式化し、カーネル整合性（kernel compatibility）の概念を導入した
  • 貢献2: Product of Heterogeneous Dimension kernel（PHDカーネル）を提案し、異なる次元の空間を共通の潜在構造で結合するMulti-task GPモデル（MPHD）を構築した
  • 貢献3: HPO-Bを異種設定に拡張したベンチマークで、MPHDが同種設定の既存手法に匹敵する転移性能を達成することを実証した
  • 貢献4: 転移可能性条件（いつ異種空間間の転移が有効か）の理論的整理を行った

技術的詳細（Technical Details）

異種探索空間の問題定義

ソースタスクの探索空間 $\mathcal{X}_s \subseteq \mathbb{R}^{d_s}$ とターゲットタスクの探索空間 $\mathcal{X}_t \subseteq \mathbb{R}^{d_t}$ が異なる次元数 $d_s \neq d_t$ を持つ場合を考えます。

標準的なGPカーネル $k(x, x’)$ は同一次元の入力を前提とするため、$\mathcal{X}_s$ と $\mathcal{X}_t$ の間で直接カーネルを定義できません。これが異種探索空間でのGPベース転移学習の根本的な困難です。

PHDカーネルの構成

著者らが提案するProduct of Heterogeneous Dimension（PHD）カーネルは、次元ごとの分解を活用します。

入力空間の各次元 $j$ に対して1次元カーネル $k_j$ を定義し、タスク間で共有される次元と固有の次元を区別します：

\[k_{\text{PHD}}(x^{(s)}, x^{(t)}) = \prod_{j \in \mathcal{S}} k_j(x_j^{(s)}, x_j^{(t)}) \cdot \rho_{st}\]

ここで：

  • $\mathcal{S}$: ソースとターゲットで共有される次元の集合
  • $k_j$: 次元 $j$ の1次元カーネル（通常SE or Matérn）
  • $\rho_{st}$: タスク間相関パラメータ（$\rho_{st} \in [0, 1]$）
graph TD
    subgraph ソースタスク d_s=4次元
        S1[x1: 学習率]
        S2[x2: バッチサイズ]
        S3[x3: weight decay]
        S4[x4: dropout率]
    end
    subgraph ターゲットタスク d_t=3次元
        T1[x1: 学習率]
        T2[x2: バッチサイズ]
        T3[x3: momentum]
    end
    S1 ---|共有次元 k1|T1
    S2 ---|共有次元 k2|T2
    S3 -.- S3x[固有次元 ソースのみ]
    S4 -.- S4x[固有次元 ソースのみ]
    T3 -.- T3x[固有次元 ターゲットのみ]

MPHDモデルの定式化

Multi-task GPモデルMPHDは、ソースとターゲットを統合した以下のGPを構成します：

\[\begin{pmatrix} f_s \\ f_t \end{pmatrix} \sim \mathcal{GP}\left(\mathbf{0}, \begin{pmatrix} K_{ss} & K_{st} \\ K_{ts} & K_{tt} \end{pmatrix}\right)\]

ここで：

  • $K_{ss}$: ソースタスク内のカーネル行列（$d_s$ 次元カーネルで計算）
  • $K_{tt}$: ターゲットタスク内のカーネル行列（$d_t$ 次元カーネルで計算）
  • $K_{st}$: タスク間のカーネル行列（PHDカーネルで計算、共有次元のみ使用）

共有次元の同定

ソースとターゲットの入力空間で「同じ意味を持つ次元」の同定は、MPHDの実用上の重要なステップです。著者らは以下のアプローチを議論しています：

手動マッピング: ドメイン知識に基づき、同じハイパーパラメータ（例: 学習率）を共有次元として明示的に指定する。

自動マッピング: 変数名やメタデータに基づく自動対応付け。HPO-Bでは、同一のハイパーパラメータ名を持つ次元を自動的にマッチングしています。

学習ベースマッピング: カーネルパラメータの最適化過程で、共有次元の重みが自動的に決定される。重みがゼロに近づく次元は事実上無視されます。

タスク間相関パラメータ $\rho_{st}$

$\rho_{st}$ はソースとターゲットの関数の相関を制御するパラメータで、GPの周辺尤度最大化により自動的に推定されます：

  • $\rho_{st} \to 1$: タスクが類似（転移が有効）
  • $\rho_{st} \to 0$: タスクが非類似（転移を無効化）

この自動重み付けにより、negative transferが自然に回避される設計になっています。

転移可能性条件

著者らは、異種空間間の転移が有効になる条件をカーネル整合性の観点から整理しています：

条件1（共有次元の存在）: $\mathcal{S}> 0$、すなわちソースとターゲットに少なくとも1つの共有次元が存在する必要があります。

条件2（共有次元の関連性）: 共有次元における関数の振る舞いがタスク間で相関していること。例えば、「学習率が大きすぎると発散する」というパターンがタスク間で共有されていれば転移が有効です。

条件3（固有次元の独立性）: 固有次元（一方のタスクにのみ存在する次元）が、共有次元の最適値に大きく影響しないこと。

DeltaBOとの位置づけ

比較軸DeltaBOMPHD
入力空間同一次元が必要異なる次元数に対応
カーネル異なるRKHS可共有次元 + 固有次元
理論保証リグレットバウンドありなし（経験的研究）
ソースの扱い事後平均→差分GPMulti-task GP
適用範囲同一入力空間異種入力空間
計算量$O(N^3) + O(t^2)$$O((n_s + n_t)^3)$

MPHDはDeltaBOの制約（同一入力空間仮定）を緩和する手法として位置づけられます。将来的には、DeltaBOの差分関数アプローチとMPHDの異種空間対応を組み合わせた手法が考えられます。

実装のポイント（Implementation）

共有次元マッピングの実装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59

from dataclasses import dataclass
from typing import Optional

@dataclass
class DimensionMapping:
    """ソースとターゲットの次元マッピング。"""
    source_dim: int
    target_dim: int
    shared: bool
    name: Optional[str] = None

def auto_map_dimensions(
    source_params: list[str],
    target_params: list[str],
) -> list[DimensionMapping]:
    """パラメータ名に基づく自動次元マッピング。

    Args:
        source_params: ソースタスクのパラメータ名リスト
        target_params: ターゲットタスクのパラメータ名リスト

    Returns:
        次元マッピングのリスト
    """
    mappings: list[DimensionMapping] = []

    source_set = set(source_params)
    target_set = set(target_params)
    shared_params = source_set & target_set

    for param in shared_params:
        s_idx = source_params.index(param)
        t_idx = target_params.index(param)
        mappings.append(DimensionMapping(
            source_dim=s_idx,
            target_dim=t_idx,
            shared=True,
            name=param,
        ))

    for i, param in enumerate(source_params):
        if param not in shared_params:
            mappings.append(DimensionMapping(
                source_dim=i,
                target_dim=-1,
                shared=False,
                name=f"source_only:{param}",
            ))

    for i, param in enumerate(target_params):
        if param not in shared_params:
            mappings.append(DimensionMapping(
                source_dim=-1,
                target_dim=i,
                shared=False,
                name=f"target_only:{param}",
            ))

    return mappings

PHDカーネルの実装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

import numpy as np
from sklearn.gaussian_process.kernels import Matern

def phd_kernel(
    X_source: np.ndarray,
    X_target: np.ndarray,
    shared_dims_source: list[int],
    shared_dims_target: list[int],
    rho: float,
    length_scales: np.ndarray,
) -> np.ndarray:
    """PHDカーネルを計算する。

    Args:
        X_source: ソース入力 (n_s, d_s)
        X_target: ターゲット入力 (n_t, d_t)
        shared_dims_source: ソース側の共有次元インデックス
        shared_dims_target: ターゲット側の共有次元インデックス
        rho: タスク間相関パラメータ
        length_scales: 共有次元の長さスケール

    Returns:
        カーネル行列 (n_s, n_t)
    """
    X_s_shared = X_source[:, shared_dims_source]
    X_t_shared = X_target[:, shared_dims_target]

    K_cross = np.ones((X_source.shape[0], X_target.shape[0]))
    for j in range(len(shared_dims_source)):
        x_s_j = X_s_shared[:, j:j+1]
        x_t_j = X_t_shared[:, j:j+1]
        diffs = x_s_j - x_t_j.T
        r = np.abs(diffs) / length_scales[j]
        k_j = (1.0 + np.sqrt(5.0) * r + 5.0 * r**2 / 3.0) * np.exp(-np.sqrt(5.0) * r)
        K_cross *= k_j

    K_cross *= rho
    return K_cross

実装上の注意点

変数のスケール正規化: 共有次元であっても、ソースとターゲットで探索範囲が異なる場合があります。$[0, 1]$ への正規化を各タスク独立に行うことが推奨されています。

カテゴリ変数の扱い: PHDカーネルは連続変数を主に想定しています。カテゴリ変数がある場合、one-hotエンコーディングやハミング距離ベースのカーネルへの拡張が必要です。

計算量: $O((n_s + n_t)^3)$ はソースデータが大きい場合にボトルネックとなります。スパースGP近似や、ソースデータのサブサンプリングが実用的な対策です。

実験結果（Results）

HPO-Bの異種設定

著者らはHPO-B（Arango et al., 2021）を異種設定に拡張して評価を行っています。具体的には、LightGBM（4-12のハイパーパラメータ）、XGBoost、SVMなどの異なるアルゴリズムの最適化タスク間で転移を行う設定です。

著者らの報告によると、MPHDは異種設定でスクラッチのGP-BOを大幅に上回り、同種設定での HyperBOに匹敵する性能を達成しています。特に観測数が少ない（5-15点）regime で効果が顕著です。

negative transferの観察

著者らは、ソースタスクとターゲットタスクが全く無関係な場合（共有次元がない、または共有次元での関数の振る舞いが無相関）にnegative transferが発生する可能性を報告しています。$\rho_{st}$ の自動推定がこのリスクを軽減しますが、完全な回避は保証されていません。

実運用への応用（Practical Applications）

クロスアルゴリズムHPO: 同じデータセットに対してSVM、Random Forest、Neural Networkなど異なるアルゴリズムを順次最適化する場合、先に最適化したアルゴリズムの結果をソースとして活用できます。

モデルアーキテクチャの進化: 3層MLPから5層MLPへ、あるいはCNNからViTへのアーキテクチャ変更時に、旧アーキテクチャのHPO結果を新アーキテクチャに転移できます。

マルチプラットフォーム最適化: 同じモデルをGPUとTPUで実行する場合、ハードウェア固有のハイパーパラメータ（バッチサイズ、precision設定等）は異なりますが、共有パラメータ（学習率、weight decay等）の知識を転移できます。

関連研究（Related Work）

  • DeltaBO（arXiv:2511.03125）: 同一入力空間での差分関数ベースの転移。MPHDは入力空間の制約を緩和する相補的手法
  • HyperBO（arXiv:2209.08538）: GP事前分布の事前学習。同一入力空間を前提とするため、MPHDの前処理（共有次元の射影）と組み合わせることで拡張可能
  • Practical Transfer BO（arXiv:2211.09819）: 加法GPモデル。同一入力空間前提だが、MPHDの共有次元のみでadditive modelを構築する組み合わせが考えられる

まとめと今後の展望

MPHDは、異種探索空間間でのBO転移学習という実務上重要な問題に対する初めての体系的なアプローチです。PHDカーネルにより、異なる次元数のタスク間でGPカーネルを定義することに成功しています。

制約として、共有次元の同定がドメイン知識に依存すること、理論的リグレット保証が未提供であること、計算量のスケーラビリティが挙げられます。今後の方向として、DeltaBOの理論的フレームワークとの統合（異種空間でのリグレットバウンド導出）、カテゴリ変数への対応、および自動次元マッチングの高度化が期待されます。

参考文献

本記事はAI（Claude Code）により自動生成されました。内容の正確性については原論文もご確認ください。

blog paper arxiv
Bayesian optimization transfer learning heterogeneous search spaces Gaussian process hyperparameter optimization
この投稿は CC BY 4.0 でライセンスされています。
最近の更新
目次