本記事は arXiv:2412.13746 の解説記事です。 論文概要 Jinらは、Retrieval-Augmented Generation（RAG）における報酬モデル（Reward Model, RM）の評価に特化した初のベンチマークRAG-RewardBenchを提案した。既存のRM評価ベンチマーク（RewardBenchなど）は汎用タスクを対象としており、RAG固有の課題（複数...

本記事は EMNLP 2025 Industry Track の解説記事です。 関連するZenn記事: LangGraph×Claude Sonnet 4.6でインラインLLM-as-Judge品質ゲートを組み込むRAG実装 論文概要 「Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards」は、Vectaraの研...

本記事は AWS Machine Learning Blog の解説記事です。 ブログ概要 AWSは、Amazon Bedrock Model EvaluationにLLM-as-a-Judge機能を統合し、RAGパイプラインを含むLLMアプリケーションの品質評価を自動化する手法を公開した。AWSは「人手評価と比較して最大98%のコスト削減を実現しつつ、faithfulness・help...

本記事は arXiv:2502.09760 の解説記事です。 論文概要（Abstract） Xiongらは、LLM-as-JudgeがRAG（Retrieval-Augmented Generation）の評価において系統的エラーを示すことを実証的に明らかにした。Citation Recall（引用再現率）、Citation Precision（引用適合率）、Conflicting In...

本記事は arXiv:2503.12879 の解説記事です。 論文概要（Abstract） Skevaki, Domazakis, Tassiulas, Koutsopoulos (2025) は、RAG（Retrieval-Augmented Generation）パイプラインの品質評価において、どのLLMをJudgeとして使うべきかを体系的に比較した研究である。GPT-4o、GPT-...

本記事は CachedAttention: Cost-Efficient Large Language Model Serving for Multi-turn Conversations with KV Cache Reuse の解説記事です。 論文概要（Abstract） CachedAttentionは、マルチターン会話においてセッション間のKVキャッシュを保存・再利用するシステム...

本記事は LLUMNIX: Dynamic Scheduling for Large Language Model Serving (arXiv:2401.11351) の解説記事です。 論文概要（Abstract） LLUMNIXは、LLM推論サービングクラスタにおいて実行中のリクエストをKVキャッシュごとGPUインスタンス間でライブマイグレーションする機構を提案した論文である。従来の...

本記事は ICML 2025 に採択された論文の解説記事です。 論文概要（Abstract） Patil, Mao, Yan, Ji, Suresh, Stoica, Gonzalez (2025) は、LLMのFunction Calling（ツール呼び出し）能力を体系的に評価するベンチマーク BFCL（Berkeley Function Calling Leaderboard） を提...

本記事は Anthropic公式ドキュメント: Prompt caching および Anthropic公式ブログ: Prompt caching with Claude の解説記事です。 ブログ概要（Summary） Anthropicが提供するPrompt Cachingは、Claude APIのリクエスト間で共通するプロンプトプレフィックスのKV（Key-Value）テンソルをサー...

論文概要（Abstract） 本記事は Zenn記事: Bedrock Intelligent Prompt Routingで社内RAGコスト最大60%削減 の深掘りです。 本論文「Towards Optimizing the Costs of LLM Usage」（Shekhar, Dubey, Mukherjee, Saxena, Tyagi, Kotla; 2024）は、複数のLL...