本記事は arXiv:2505.02279 の解説記事です。 論文概要（Abstract） AIエージェントの急速な普及に伴い、異種システム間の相互運用性を確保するための標準化された通信プロトコルが求められている。本論文は、Model Context Protocol（MCP）、Agent Communication Protocol（ACP）、Agent-to-Agent Protoc...

ブログ概要（Summary） 本記事は https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ の解説記事です。 NVIDIAのShashank VermaとNeal Vaidyaによる本ブログ（2023年11月17日公開、2024年8月15日更新）は、LLM推論における主要なボ...

本記事は https://www.usenix.org/conference/osdi22/presentation/yu の解説記事です。 論文概要（Abstract） Orcaは、transformerベースの生成モデルに特化した分散サービングシステムである。著者らは、既存の推論サービングシステムがリクエスト単位でスケジューリングを行うことでGPU利用率が低下する問題を指摘し、ite...

本記事は https://arxiv.org/abs/2312.07104 の解説記事です。 論文概要（Abstract） SGLangは、構造化されたLLMプログラム（マルチターン会話、エージェント制御、JSON構造化出力など）を効率的に実行するためのシステムである。フロントエンド言語とランタイムの共同設計により、gen・fork・join・selectといったプリミティブで複雑なLL...

本記事は https://arxiv.org/abs/2412.03594 の解説記事です。 論文概要（Abstract） BatchLLMは、大規模バッチLLM推論に特化した最適化システムである。既存のLLM推論エンジン（vLLM、SGLang等）はストリーミングリクエストへの応答を重視する設計であり、数千～数万件のリクエストをまとめて処理するバッチ推論シナリオでは、プレフィックスのK...

本記事は https://arxiv.org/abs/2309.06180 の解説記事です。本記事の著者自身が実験を行ったものではなく、論文の内容を解説・引用したものです。 論文概要（Abstract） PagedAttentionは、OSの仮想メモリにおけるページング機構からインスパイアされたattentionアルゴリズムである。LLMサービングにおけるKVキャッシュのメモリ管理を最適...

本記事は Elastic Search Labs: Linear Retriever for Hybrid Search の解説記事です。 ブログ概要（Summary） Elasticsearchは2025年にLinear Retrieverを導入した（Elasticsearch 8.18 / 9.0以降で利用可能）。これはRRF（Reciprocal Rank Fusion）の代替とし...

ブログ概要（Summary） 本記事は Multi-instance GPU (MIG) with Dynamic Resource Allocation (DRA) on AKS の解説記事です。 Azure AKS Engineering Blogが2026年3月3日に公開したこの記事では、NVIDIA Multi-Instance GPU（MIG）とKubernetes Dynam...

本記事は arXiv:2507.09089 の解説記事です。 論文概要（Abstract） AIコーディングツールの生産性向上効果は、多くの場合、人工的なタスクや初心者プログラマーを対象とした研究で報告されてきた。本論文は、実際のオープンソースプロジェクトに貢献する経験豊富な開発者246名を対象とした無作為化比較試験（RCT）を実施し、6週間にわたって生産性への影響を測定した。結果として...

本記事は arXiv:2308.10144 ExpeL: LLM Agents Are Experiential Learners の解説記事です。 論文概要（Abstract） Zhao, Huang, Xu, Lin, Liu, Huang（2023）は、LLMエージェントがパラメータの更新なしに、経験から自律的に知識を獲得し、将来のタスクに適用する手法「ExpeL（Experien...