本記事は vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention の解説記事です。 論文概要 LLMサービングにおけるKVキャッシュのメモリ管理は、スループットとレイテンシの両面で重要な課題である。現在広く使われているPagedAttentionは、KVキャッシュを固定サイズのブロックに分...

本記事は DAT: Dynamic Alpha Tuning for Hybrid Retrieval in Retrieval-Augmented Generation の解説記事です。 論文概要 ハイブリッド検索（dense検索とsparse検索の統合）は、Retrieval-Augmented Generation（RAG）パイプラインにおいて広く採用されている手法である。従来のハ...

論文概要（Abstract） EAGLE-3は、LLMの投機的デコーディング（Speculative Decoding）を高速化するための手法であり、従来のEAGLE/EAGLE-2が抱えていた特徴量予測の制約を解消する。著者らは、トップ層の特徴量のみに依存する従来手法に代わり、複数層の特徴量を融合するMulti-Layer Feature Fusionと、訓練時にテスト時の挙動をシミュレ...

論文概要（Abstract） 本記事は RAGRouter-Bench: Evaluating Lightweight Query Routing for Adaptive RAG の解説記事です。 Retrieval-Augmented Generation（RAG）はLLMの応答品質を向上させる有力な手法であるが、全てのクエリに対して検索が必要なわけではない。Adaptive RAG...

論文解説: SpecInfer - 投機的推論とトークンツリー検証によるLLMサービング高速化 論文概要 SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification (arXiv:2305.09781, ASPL...

本記事は FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation の解説記事です。 論文概要（Abstract） LLMが生成する長文テキスト（人物の伝記等）には事実と非事実が混在しており、テキスト全体を「正しい/誤り」と二値判定するのは適切ではない。著者らはF...

本記事は CG-RAG: Research Question Answering by Citation Graph Retrieval-Augmented LLMs の解説記事です。 論文概要（Abstract） 既存のRAGベースの研究質問応答は、論文を独立したテキスト断片として扱い、論文間の引用関係を無視している。著者らはCG-RAG（Citation Graph RAG）を提案し...

本記事は From Local to Global: A Graph RAG Approach to Query-Focused Summarization の解説記事です。 論文概要（Abstract） RAGは外部知識を用いてLLMに質問回答させるが、「このデータセットの主要テーマは何か」といった文書コレクション全体の理解を要するグローバルクエリには対応できない。著者らはGraphR...

本記事は MedRAGChecker: Evaluating and Improving Retrieval-Augmented Generation Systems for Medical Question Answering の解説記事です。 論文概要（Abstract） 医療QAにおけるRAGシステムは回答の一部に根拠不足な主張を含むことがあるが、従来の評価手法は回答全体の正誤判定...

本記事は Medical Graph RAG: Towards Safe Medical Large Language Model via Graph Retrieval-Augmented Generation の解説記事です。 論文概要（Abstract） 大規模言語モデル（LLM）は医療分野で有望だが、事実ハルシネーション・データプライバシー・倫理的偏りという3つの課題が実臨床への...