論文概要（Abstract） 本記事は ECoRAG の解説記事です。 ECoRAG（Evidentiality-guided Compression for RAG）は、Retrieval-Augmented Generation（RAG）で取得した文書を「エビデンス性（evidentiality）」に基づいて圧縮するフレームワークである。著者らは、従来の圧縮手法が「正しい回答生成を支...

本記事は FVA-RAG: Falsification-Verification Alignment for Mitigating Sycophantic Hallucinations の解説記事です。 論文概要（Abstract） RAGシステムは検索されたコンテキストに過度に追従する「検索追従性（retrieval sycophancy）」を示すことがある。ユーザーの前提に合致する証...

論文概要（Abstract） 本記事は Doctor-RAG の解説記事です。 Doctor-RAG（DR-RAG）は、Agentic RAGにおける失敗パターンを体系的に診断し、最小コストで修復するフレームワークである。著者らは、推論軌道（trajectory）が長くなるほど失敗が頻発するAgentic RAGの問題に対し、蒸留した診断モデルによるエラータイプ分類と障害点特定、およびエ...

本記事は Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting（ICLR 2025採択）の解説記事です。 論文概要（Abstract） Speculative RAGは、小型の専門モデル（RAG Drafter）が取得ドキュメントのサブセットから並列にドラフト回答と根拠（rationale）を...

ブログ概要（Summary） 本記事は Implementing resilience patterns with Amazon Bedrock and LLM gateway の解説記事です。 AWS公式MLブログでは、LLMを本番運用する際に直面する可用性・レイテンシ・コスト・スループットの4つの課題に対し、LLMゲートウェイ（LiteLLM）とAmazon Bedrockを組み合わ...

論文概要 本記事は Efficient Training-Free Online Routing for High-Volume Multi-LLM Serving の解説記事です。 複数のLLMを運用する環境では、各クエリをどのモデルに振り分けるかが性能とコストの両面で重要な課題となる。著者らは PORT（training-free online routing） アルゴリズムを提案し...

論文概要 本記事は SwiftCache: Efficient LLM Serving for Multi-turn Conversations with Heterogeneous KV Cache Sharing の解説記事です。 SwiftCacheは、マルチターン会話におけるLLMサービングの2つの課題――KVキャッシュ再読み込みの高レイテンシと、GPU HBM容量に起因する最大...

論文概要（Abstract） 本記事は Continuum: Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache Time-to-Live の解説記事です。 マルチターンLLMエージェントがツール呼び出しを行う際、推論エンジンはGPUメモリ上のKVキャッシュを即座に解放してしまう。再開時にはPrefillの...

論文概要（Abstract） 本記事は Open-Source Reproduction and Explainability Analysis of Corrective Retrieval Augmented Generation の解説記事です。 Corrective Retrieval Augmented Generation（CRAG）はRAGシステムの頑健性を向上させる手法と...

論文概要（Abstract） 本記事は Don’t Break the Cache: An Evaluation of Prompt Caching for Long-Horizon Agentic Tasks の解説記事です。 著者らは、3大LLMプロバイダ（OpenAI、Anthropic、Google）が提供するプロンプトキャッシュ機能を、DeepResearch Benchの50...