論文概要（Abstract）
本記事は MMTEB: Massive Multilingual Text Embedding Benchmark の解説記事です。
MMTEBは、テキスト埋め込みモデルの評価基盤を大幅に拡張する大規模多言語ベンチマークである。従来のMTEB（Massive Text Embedding Benchmark）が58タスク・112言語をカバーしていたのに対し、MMTEBは500以上の品質管理された評価タスクを10カテゴリにわたって提供し、250以上の言語をカバーする。Borda count方式による公平なモデルランキング手法と、タスク間相関に基づくダウンサンプリング手法を導入し、計算コストを大幅に削減しつつモデル順位の一貫性を維持している。
この記事は Zenn記事: Embeddingモデル精度評価の実践：MTEB指標の読み方と最新モデル比較 の深掘りです。
情報源
- 会議名: ICLR 2025（International Conference on Learning Representations）
- 年: 2025
- URL: https://arxiv.org/abs/2502.13595
- 著者: Kenneth Enevoldsen, Isaac Chung, Imene Kerboua, et al.（85名の共著）
- 採択情報: Poster として採択
- コード: https://github.com/embeddings-benchmark/mteb
- リーダーボード: https://huggingface.co/spaces/mteb/leaderboard
カンファレンス情報
ICLR（International Conference on Learning Representations）は、深層学習・表現学習分野における主要な国際会議の1つである。ICLR 2025では11,565件の投稿があり、採択率は約32%と報告されている。MMTEBは85名もの大規模な共著者チームによるコミュニティ主導のプロジェクトであり、Poster として採択された。
背景と動機（Background & Motivation）
テキスト埋め込みモデルは、検索拡張生成（RAG）、意味検索、クラスタリングなど、多くのNLPアプリケーションの基盤技術である。しかし、モデルの評価は限られたタスクセットで行われることが多く、言語・ドメイン・タスクの多様性に制約があった。
2022年に公開されたMTEB（Muennighoff et al., 2023）は、テキスト埋め込みの統一的な評価基盤として広く採用されてきた。しかし、MTEB v1には以下の課題があった。
第一に、言語カバレッジの偏りである。MTEB v1は主に英語中心で、多言語タスクの評価が不十分であった。第二に、タスクの多様性不足である。Instruction following、長文書検索、コード検索といった実務で重要なタスクが含まれていなかった。第三に、評価指標の問題である。タスク間の平均スコアでモデルを比較すると、特定のタスクで突出したスコアを出すモデルが過大評価される問題があった。第四に、計算コストの問題がある。タスク数が増えると、全モデルの全タスクでの評価に膨大な計算資源が必要となる。
MMTEBはこれらの課題に包括的に対処する。85名の研究者によるコミュニティ主導のプロジェクトとして、テキスト埋め込み評価の新たな標準を提案している。
主要な貢献（Key Contributions）
- 500+タスク・250+言語の包括的ベンチマーク: 従来の58タスク・112言語から大幅に拡張し、Instruction Retrieval やCode Retrievalなど新しいタスクカテゴリを追加
- Borda count方式による公平なランキング: 社会選択理論に基づく順位集約手法を導入し、平均スコアの問題を解決
- タスク間相関に基づくダウンサンプリング: 冗長なタスクを除去し、少ないタスク数でも元のランキングと高い相関を維持（Spearman相関0.90以上）
- 計算効率化: Clusteringで100倍のエンコード削減（相関0.96維持）、Retrievalでは500万文書を最大25万文書に削減
- MTEB(eng, v2)のゼロショット構築: 56タスクから40タスクに削減しつつ、7Bモデルで約3.11時間（H100 GPU）で評価可能
技術的詳細（Technical Details）
Borda count ランキング方式
著者らは、タスク間の平均スコアではなくBorda count方式を採用している。Borda countは社会選択理論に由来する集約手法であり、NLPシステムの比較においてよりロバストであることが先行研究（Colombo et al., 2022）で示されている。
各タスク $t$ を「投票者」として扱い、$M$ 個のモデルの相対順位に基づいて得点を割り当てる。具体的には、タスク $t$ において $M$ 個のモデルをスコアの降順にランク付けし、ランク $r$ のモデルに $M - r$ 点を付与する。
\[\text{BordaScore}(m) = \sum_{t=1}^{T} (M - r_t(m))\]ここで、
- $m$: 評価対象のモデル
- $T$: タスクの総数
- $M$: モデルの総数
- $r_t(m)$: タスク $t$ におけるモデル $m$ の順位（1が最上位）
この方式の利点は、少数のタスクで異常に高いスコアを出すモデルよりも、多数のタスクにわたって安定した順位を示すモデルが高く評価される点にある。同点の場合は、tournament Borda count方式で解消する。
タスクカテゴリ
MTEB(Multilingual) は以下の10カテゴリ、計132データセットで構成される。
| カテゴリ | データセット数 | 主な評価指標 |
|---|---|---|
| Classification | 43 | Accuracy |
| Retrieval | 18 | nDCG@10 |
| Clustering | 17 | V-measure |
| STS (Semantic Text Similarity) | 16 | Spearman相関 |
| Bitext Mining | 13 | F1 |
| Pair Classification | 11 | AP (Average Precision) |
| Reranking | 6 | MAP |
| Multilabel Classification | 5 | Accuracy |
| Instruction Retrieval | - | p-MRR |
| Code Retrieval | - | nDCG@10 |
Instruction RetrievalとCode Retrievalは新規カテゴリであり、これまで評価されてこなかった埋め込みモデルの能力を測定する。Instruction Retrievalは、異なるinstructionに対して検索結果を変化させる能力を評価する。
ダウンサンプリング手法
大規模ベンチマークでは計算コストが問題となる。著者らは3つのダウンサンプリング手法を提案している。
Clusteringのダウンサンプリング: コーパス全体ではなく4%のサブサンプルのみをエンコードし、置換なしで10セットのサンプリングを行う。この手法により、特定タスクでのエンコード量を100倍削減し、全タスクにわたる平均スピードアップは16.11倍を達成する。モデルランキングのSpearman相関は平均0.96を維持しており、実用上十分な精度である。
RetrievalのTREC pooling: 情報検索分野で確立されたTREC pooling手法を応用する。各データセットにおいて、クエリあたり上位250件の文書のみを保持する。1,000件を超えるクエリを含むデータセットでは、ランダムに1,000クエリをサンプリングする。これにより、500万文書規模のデータセットを最大25万文書に削減する。
Bitext Miningのキャッシュ戦略: 多言語のペア評価では、英語側の文をキャッシュして再利用する。Floresデータセットでは英語文書を410,000件からわずか1,012件に削減している。
タスク間相関に基づくタスク選択
著者らは、タスク間の冗長性を除去するために、backward eliminationに基づくタスク選択手法を提案している。
手順は以下の通りである。
- 1つのタスクを除外（held-out）し、残りのタスクのモデルスコアで線形回帰モデルを訓練する
- 除外したタスクのモデルスコアを予測し、実際のスコアとのSpearman順位相関を計算する
- 相関が閾値（MTEB(Multilingual)では0.8、MTEB(eng, v2)では0.9）を超えるタスクを冗長と判断し除去する
- 上記を収束するまで反復する
この手法により、MTEB(eng, v2)ではタスク数を56から40に削減しつつ、MTEB(eng, v1)とのSpearman相関0.90（p < 0.0001）を維持している。
実験結果（Results）
MTEB(Multilingual) ランキング
著者らが報告しているMTEB(Multilingual)の主要な結果を以下に示す（論文Table 3より）。
| 順位 | モデル | パラメータ数 | Borda Count | 平均スコア | Bitext Mining | Retrieval |
|---|---|---|---|---|---|---|
| 1 | multilingual-e5-large-instruct | 560M | 1375 | 63.2 | 80.1 | 57.1 |
| 2 | GritLM-7B | 7B | 1258 | 60.9 | 70.5 | 58.3 |
| 3 | e5-mistral-7b-instruct | 7B | 1233 | 60.3 | 70.6 | 55.8 |
| 4 | multilingual-e5-large | 560M | 1109 | 58.6 | 71.7 | 54.1 |
主要な発見
560Mパラメータモデルが7Bモデルを上回る: multilingual-e5-large-instruct（560M）が、GritLM-7BやMistral-7Bベースのモデルを上回り、Borda countで1位を獲得している。これは、パラメータ数の大きさが必ずしも多言語タスクでの優位性を保証しないことを示唆している。著者らは、多言語に特化した学習データとinstruction tuningの組み合わせが、モデルサイズの増大よりも効果的であると分析している。
低リソース言語での性能劣化: all-MiniLM-L6のような小型の英語中心モデルは、低リソース言語で顕著な性能低下を示す。多言語対応を謳うモデルでも、言語間の性能格差が大きいケースが報告されている。
長文書検索の課題: 短いテキストで訓練された埋め込みモデルは、長文書の検索において性能が低下する傾向がある。これは新たに追加されたlong-document retrievalタスクによって明らかになった課題である。
計算効率の検証
ダウンサンプリング手法の有効性について、著者らはSpearman相関で検証を行っている。Clusteringの4%サブサンプリングでは平均Spearman相関0.96を維持し、MTEB(eng, v2)のタスク削減（56→40）では元のMTEB(eng, v1)との相関0.90を達成している。7Bモデルの全評価がH100 GPUで約3.11時間で完了可能であり、実用的な計算コストに収まっている。
実運用への応用（Practical Applications）
埋め込みモデル選択への示唆
MMTEBの結果は、実務における埋め込みモデル選択に直接的な示唆を与える。
RAGシステムの構築: 多言語対応のRAGシステムを構築する場合、パラメータ数の大きなモデルよりも、多言語対応に特化した中規模モデル（560M程度）が費用対効果に優れる可能性がある。推論コストとレイテンシの観点からも、7Bモデルより560Mモデルの方が運用上有利である。
ベンチマーク選択の指針: MTEB(eng, v2)の40タスク版は、元の56タスク版と0.90の相関を維持しつつ計算コストを削減している。自社モデルの評価時に全タスクを実行する必要がない場合、このダウンサンプリング済みタスクセットを利用することで、評価コストを抑えられる。
Borda count方式の活用: 自社の埋め込みモデル評価においても、タスク間の平均スコアではなくBorda count方式を採用することで、特定タスクへの過剰適合を避けた公平な比較が可能となる。
多言語対応の検証: 低リソース言語での性能劣化は、グローバル展開するサービスにとって重要な課題である。MMTEBの言語別評価結果を参照し、対象言語での性能を事前に検証することが推奨される。
関連研究（Related Work）
- MTEB (Muennighoff et al., 2023): MMTEBの前身となるテキスト埋め込みベンチマーク。58タスク・112言語をカバーし、統一的な評価基盤として広く採用された。MMTEBはこれを500+タスク・250+言語に拡張している
- BEIR (Thakur et al., 2021): 多様なドメインにまたがる情報検索のゼロショット評価ベンチマーク。MMTEBのRetrievalカテゴリの設計に影響を与えている
- Borda count for NLP (Colombo et al., 2022): NLPシステムの比較において、Borda countが平均スコアよりロバストであることを示した研究。MMTEBのランキング手法の理論的基盤となっている
- E5 (Wang et al., 2024): multilingual-e5-large-instructを含むE5シリーズの埋め込みモデル。MTEB(Multilingual)で1位を獲得し、多言語学習データとinstruction tuningの有効性を示した
まとめと今後の展望
MMTEBは、テキスト埋め込みモデル評価の規模と多様性を大幅に拡張した包括的ベンチマークである。500+タスク・250+言語のカバレッジ、Borda count方式のランキング、計算効率化手法の3つが主要な貢献として挙げられる。
実務上の重要な知見として、560Mパラメータのmultilingual-e5-large-instructが7Bモデルを上回る結果は、モデルサイズと性能の関係が単純ではないことを示している。
今後の展望として、著者らはinstruction followingやlong-document retrievalといった新タスクの拡充、および低リソース言語のカバレッジ改善を挙げている。また、リーダーボード（HuggingFace上で公開）は継続的に更新されており、新しいモデルやタスクの追加が進められている。
参考文献
- arXiv: https://arxiv.org/abs/2502.13595
- Code: https://github.com/embeddings-benchmark/mteb
- Leaderboard: https://huggingface.co/spaces/mteb/leaderboard
- Related Zenn article: https://zenn.dev/0h_n0/articles/b70b9c19e0a825