論文概要（Abstract） LLMの性能を比較する際、正解ラベルのないオープンエンドタスクでは「LLM-as-Judge」が広く使われている。しかしジャッジLLM間の信頼性には大きな差があり、全ジャッジを等しく扱うとランキングにバイアスが生じ、信頼区間も誤校正となる。本論文はBradley-Terry-Luce（BTL）モデルをジャッジ固有の識別力パラメータで拡張し、モデルの潜在品質スコ...

ブログ概要 Milvus（Zilliz社）が公開したブログ記事 “Best Embedding Model for RAG 2026: 10 Models Compared” は、既存のMTEB（Massive Text Embedding Benchmark）が評価しないプロダクション要件を補完する独自ベンチマークCCKMを設計し、10種のEmbeddingモデルを4つの軸で定量比較して...

ブログ概要（Summary） FutureAGI社が2026年に公開した「Evaluating Embedding Models in 2026」は、自社のプロダクションデータでEmbeddingモデルを評価するための実践ガイドである。500ペアのラベル付き評価セットを4つの層から構成し、Recall@10・MRR・NDCG@10・p95レイテンシ・コストの5指標で比較する手法を提案してい...

論文概要 LLM-as-a-Judge（LLMを評価者として利用する手法）の信頼性検証に関する大規模な系統的評価研究である。著者らは21のジャッジモデル（9プロバイダー）を3つのベンチマーク（MT-Bench、JudgeBench、RewardBench）で評価し、118回の実行で約541,000件の個別判定を分析した。その結果、exact-match精度とCohen’s kappaの間に...

論文概要 本記事は https://arxiv.org/abs/2605.28190 の解説記事です。 HTEB（The Harder Text Embedding Benchmark）は、Embeddingモデルのロバスト性を語彙・スタイル（Lexical/Stylistic）、長さ（Length）、言語（Language）の3軸で多次元的に評価するベンチマークである。著者らは、MTE...

論文概要（Abstract） 本記事は ECoRAG の解説記事です。 ECoRAG（Evidentiality-guided Compression for RAG）は、Retrieval-Augmented Generation（RAG）で取得した文書を「エビデンス性（evidentiality）」に基づいて圧縮するフレームワークである。著者らは、従来の圧縮手法が「正しい回答生成を支...

本記事は FVA-RAG: Falsification-Verification Alignment for Mitigating Sycophantic Hallucinations の解説記事です。 論文概要（Abstract） RAGシステムは検索されたコンテキストに過度に追従する「検索追従性（retrieval sycophancy）」を示すことがある。ユーザーの前提に合致する証...

論文概要（Abstract） 本記事は Doctor-RAG の解説記事です。 Doctor-RAG（DR-RAG）は、Agentic RAGにおける失敗パターンを体系的に診断し、最小コストで修復するフレームワークである。著者らは、推論軌道（trajectory）が長くなるほど失敗が頻発するAgentic RAGの問題に対し、蒸留した診断モデルによるエラータイプ分類と障害点特定、およびエ...

本記事は Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting（ICLR 2025採択）の解説記事です。 論文概要（Abstract） Speculative RAGは、小型の専門モデル（RAG Drafter）が取得ドキュメントのサブセットから並列にドラフト回答と根拠（rationale）を...

ブログ概要（Summary） 本記事は Implementing resilience patterns with Amazon Bedrock and LLM gateway の解説記事です。 AWS公式MLブログでは、LLMを本番運用する際に直面する可用性・レイテンシ・コスト・スループットの4つの課題に対し、LLMゲートウェイ（LiteLLM）とAmazon Bedrockを組み合わ...