本記事は Automated structural testing of LLM-based agents: methods, framework, and case studies の解説記事です。 論文概要（Abstract） LLMベースエージェントの自動テストにおいて、従来のユーザーレベル受入テスト（ブラックボックス）では内部動作の検証が困難である。著者らは、ソフトウェア工学の構...

本記事は Beyond the Final Answer: Evaluating the Reasoning Trajectories of Tool-Augmented Agents の解説記事です。 論文概要（Abstract） 従来のエージェント評価ベンチマークは最終回答の正誤（answer matching）に焦点を当てているが、ツール利用エージェントの推論プロセスには効率性（e...

本記事は AgentEval: DAG-Structured Step-Level Evaluation for Agentic Workflows with Error Propagation Tracking の解説記事です。 論文概要（Abstract） AgentEvalは、マルチステップAIエージェントシステムの評価において、実行フローをDAG（有向非巡回グラフ）としてモデル化...

本記事は Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines の解説記事です。 論文概要（Abstract） LLM-as-a-Judgeは、LLM出力の自動評価において広く採用されているが、スタイルバイアス・位置バイアス・冗長性バイアス...

本記事は TRAJECT-Bench: A Trajectory-Aware Benchmark for Evaluating Agentic Tool Use の解説記事です。 論文概要（Abstract） TRAJECT-Benchは、LLMエージェントのツール使用能力を軌跡レベルで評価するベンチマークである。従来のベンチマークが最終回答の正誤のみを評価していたのに対し、本ベンチマー...

論文概要 本記事は arXiv:2602.16299 の解説記事です。 MICE（Minimal Interaction Cross-Encoders）は、標準的なCross-Encoderから「有害または不要なインタラクション」を段階的に除去することで、Late Interactionに近いアーキテクチャを導出する手法である。著者らは、Cross-Encoderの内部Attention...

論文概要 本記事は arXiv:2603.02153 の解説記事です。 Medrano, Verma, Chhabra (2026) は、エンタープライズ知識ベース上の本番RAGシステムにおいて、Reciprocal Rank Fusion（RRF）を用いたクエリ融合手法を評価した。著者らの報告によれば、融合手法はベンチマーク上の生のrecallを向上させるものの、「これらの向上はリラン...

論文概要（Abstract） 本記事は arXiv:2508.01405 の解説記事です。 ハイブリッド検索（lexical検索とsemantic検索の統合）は、Retrieval-Augmented Generation（RAG）をはじめとする現代の情報検索システムにおける基盤技術となっている。しかし、その設計空間は広大かつ複雑であり、検索パラダイム・融合手法・リランキング手法の間のト...

論文概要 本記事は arXiv:2604.01733 の解説記事です。 Retrieval-Augmented Generation（RAG）システムにおいて、テキストと表データが混在する文書に対する検索手法の体系的な比較はこれまで存在しなかった。本論文は、スパース検索・密ベクトル検索・ハイブリッド融合・リランキング・クエリ拡張・インデックス拡張・適応的検索の7カテゴリに属する10種の検...

ブログ概要 本記事は ParadeDB公式ブログ「Hybrid Search in PostgreSQL: The Missing Manual」 の解説記事です。 著者 James Blackwood-Sewell は、PostgreSQL の拡張機能である pg_search（BM25 全文検索）と pgvector（ベクトル類似度検索）を組み合わせ、外部の検索エンジンを一切使わずに...