本記事は Efficient Inference for Large Reasoning Models: A Survey (arXiv:2501.12599) の解説記事です。 論文概要（Abstract） 本サーベイは、OpenAI o1やDeepSeek R1に代表される大規模推論モデル（LRM: Large Reasoning Models）の効率的推論手法を体系的に分類したもの...

本記事は Lost in the Middle: How Language Models Use Long Contexts の解説記事です。 論文概要（Abstract） Liu, Lin, Hewitt, Paranjape, Bevilacqua, Petroni, Liang（Stanford University / Meta AI, 2023）は、ロングコンテキストを入力可能...

本記事は arXiv:2401.18079 の解説記事です。 論文概要（Abstract） LLMの長コンテキスト推論では、KVキャッシュのメモリ消費が主要なボトルネックとなる。著者らはKVキャッシュを低ビット数値形式に量子化する手法KVQuantを提案している。Per-Channel Key量子化、Pre-RoPE Key量子化、非一様量子化（NUKVQuant）、Dense-and-...

本記事は SGLang: Efficiently Programming Large Language Models using SGLang（arxiv:2312.07104） の解説記事です。 論文概要（Abstract） SGLangは、複雑なLLMプログラム（マルチコール生成、プロンプトテンプレート、制御フロー、構造化出力）を効率的に実行するためのシステムである。フロントエンド言...

本記事は arXiv:2309.15025 (FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance) の解説記事です。 論文概要（Abstract） FrugalGPTは、LLMのAPI利用コストを削減しながら性能を維持・向上させる3つの相補的戦略を提案する。著者...

本記事は ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models（Xu et al., 2023）の解説記事です。 論文概要（Abstract） ReWOO（Reasoning WithOut Observation）は、Augmented Language Model（A...

本記事は Databricks Blog: Improving Retrieval and RAG with Embedding Model Finetuning の解説記事です。 ブログ概要（Summary） Databricksは、汎用Embeddingモデルをドメイン特化データでファインチューニングすることにより、ベクトル検索およびRAGパイプラインの精度を大幅に向上させる手法を紹...

論文概要（Abstract） 本論文は、従来の静的・単一ターン型RAG（Retrieval-Augmented Generation）の限界を超え、自律エージェントが動的意思決定・多段階推論・適応的検索を行う「Agentic RAG」を包括的にサーベイした研究である。著者らは、Naive RAG → Advanced RAG → Modular RAG → Agentic RAGという進化...

本記事は XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models の解説記事です。 論文概要（Abstract） LLMの構造化出力を文脈自由文法（CFG）で制約する手法は柔軟性が高いが、トークンごとの文法検証に計算コストがかかる問題があった。著者らは、語彙全体を「文脈...

本記事は The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions の解説記事です。 論文概要（Abstract） Wallace, Xiao, Leike, Zheng, Vu, Hajishirzi, Pang（OpenAI, 2024）は、LLMがコンテキストウィンドウ内のすべてのテ...