本記事は RAGAS: Automated Evaluation of Retrieval Augmented Generation (Es et al., 2023) の解説記事です。 論文概要（Abstract） Retrieval Augmented Generation（RAG）システムの品質評価は、検索コンポーネントと生成コンポーネントの両方を考慮する必要があり、従来の手法では...

本記事は arXiv:2311.04934（Gim et al., MLSys 2024）の解説記事です。 論文概要（Abstract） LLM推論のレイテンシはプロンプト長に大きく依存する。著者らはPrompt Cacheを提案し、頻出するテキストセグメント（システムメッセージ、プロンプトテンプレート、ドキュメント等）のAttention状態を事前計算・保存し、プロンプト間で再利用する...

本記事は Introducing New KV Cache Reuse Optimizations in NVIDIA TensorRT-LLM の解説記事です。 ブログ概要（Summary） NVIDIAは2025年1月、TensorRT-LLMにおけるKVキャッシュ再利用の新しい最適化機能を発表した。従来のLRU（Least Recently Used）ベースのキャッシュ退避に加え、...

本記事は Adaptive-RAG: Learning to Adapt Retrieval-Augmented LLMs through Question Complexity（Jeong et al., 2024）の解説記事です。 論文概要（Abstract） 本論文は、クエリの複雑度に応じてRAGの検索戦略を動的に切り替えるAdaptive-RAGフレームワークを提案している。著者...

本記事は arXiv:2401.07119 Curator: Efficient Indexing for Multi-Tenant Vector Databases（2024年1月公開）の解説記事です。 論文概要（Abstract） Curatorは、マルチテナント・ベクトルデータベースにおけるインデキシングの品質と効率のトレードオフを解決するアプローチを提案している。著者らは、テナン...

本記事は arXiv:2308.15022（Wang et al., 2023、Neurocomputing採録）の解説記事です。 論文概要（Abstract） LLMは動的な対話を生成できるが、長期にわたる会話の一貫性を維持することが困難である。著者らは再帰的要約（Recursive Summarization）手法を提案し、LLMに小さな対話コンテキストを段階的に記憶させ、前のメモリ...

本記事は FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance (Chen et al., 2023, Stanford University) の解説記事です。 論文概要（Abstract） 大規模言語モデル（LLM）のAPI利用にはトークン単位の課金が発生し、...

本記事は Redis公式ブログ: AI agent memory: types, architecture & implementation（Jim Allen Wallace, 2026年2月3日）の解説記事です。 ブログ概要（Summary） LLMは本質的にステートレスであり、リクエスト間で情報を保持しない。本番のAIエージェントを構築するには、短期メモリ（セッション内コン...

本記事は CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion の解説記事です。 論文概要（Abstract） CacheBlendは、RAG（Retrieval-Augmented Generation）システムにおけるLLM推論の高速化手法である。従来のRAGでは、検索され...

本記事は arXiv:2504.15247 Lance: Efficient Random Access in Columnar Storage through Adaptive Structural Encodings（2025年4月公開）の解説記事です。 論文概要（Abstract） Lanceは、現代のAI/MLワークロード向けに設計されたオープンソースの列指向ファイルフォーマット...