本記事は arXiv:2306.00978 の解説記事です。 論文概要（Abstract） 著者らは、LLMの低ビット重み量子化手法AWQ（Activation-aware Weight Quantization）を提案している。中核的な観察として、全ての重みが等しく重要ではなく、活性化の大きさに基づいて重みの約1%が「重要（salient）」であることを発見した。これらの重要チャネルを...

本記事は Flexible and Efficient Grammar-Constrained Decoding (arXiv:2502.05111) の解説記事です。 論文概要（Abstract） LLMの構造化出力を文脈自由文法（CFG）で保証する文法制約付きデコーディング（GCD: Grammar-Constrained Decoding）は、デコードの各ステップで「CFGに従わな...

本記事は Voyage AI Blog: The Voyage 4 model family: shared embedding space with MoE architecture の解説記事です。 ブログ概要（Summary） Voyage AIは2026年1月にVoyage 4シリーズを発表した。同シリーズは業界初の共有Embedding空間を実現し、異なるサイズのモデル間で互換...

本記事は Guided Decoding Performance on vLLM and SGLang (SqueezeBits Tech Blog) の解説記事です。 ブログ概要（Summary） SqueezeBitsは、LLM推論の最適化に特化した企業である。本ブログ記事では、構造化出力の2大文法バックエンド（llguidanceとXGrammar）を、2大推論フレームワーク（vL...

ブログ概要（Summary） Databricks Mosaic Researchは、20のLLMを対象にコンテキスト長2,000〜2,000,000トークンの範囲でRAG性能を系統的に評価した大規模ベンチマーク研究を発表した（arXiv: 2411.03538）。著者ら（Quinn Leng, Jacob Portes, Sam Havens, Matei Zaharia, Michae...

本記事は Efficient Inference for Large Reasoning Models: A Survey (arXiv:2501.12599) の解説記事です。 論文概要（Abstract） 本サーベイは、OpenAI o1やDeepSeek R1に代表される大規模推論モデル（LRM: Large Reasoning Models）の効率的推論手法を体系的に分類したもの...

本記事は Lost in the Middle: How Language Models Use Long Contexts の解説記事です。 論文概要（Abstract） Liu, Lin, Hewitt, Paranjape, Bevilacqua, Petroni, Liang（Stanford University / Meta AI, 2023）は、ロングコンテキストを入力可能...

本記事は arXiv:2401.18079 の解説記事です。 論文概要（Abstract） LLMの長コンテキスト推論では、KVキャッシュのメモリ消費が主要なボトルネックとなる。著者らはKVキャッシュを低ビット数値形式に量子化する手法KVQuantを提案している。Per-Channel Key量子化、Pre-RoPE Key量子化、非一様量子化（NUKVQuant）、Dense-and-...

本記事は SGLang: Efficiently Programming Large Language Models using SGLang（arxiv:2312.07104） の解説記事です。 論文概要（Abstract） SGLangは、複雑なLLMプログラム（マルチコール生成、プロンプトテンプレート、制御フロー、構造化出力）を効率的に実行するためのシステムである。フロントエンド言...

本記事は arXiv:2309.15025 (FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance) の解説記事です。 論文概要（Abstract） FrugalGPTは、LLMのAPI利用コストを削減しながら性能を維持・向上させる3つの相補的戦略を提案する。著者...