本記事は S-LoRA: Serving Thousands of Concurrent LoRA Adapters（arXiv 2023）の解説記事です。 論文概要（Abstract） S-LoRAは、単一のGPUサーバ上で数千のLoRA（Low-Rank Adaptation）アダプタを同時にサービングするシステムである。著者らは、KVキャッシュとLoRAアダプタ重みの両方をページン...

本記事は Introducing the next generation of AI inference, powered by llm-d（Google Cloud Blog, 2025年5月21日）の解説記事です。 ブログ概要（Summary） Google CloudのMark Lohmeyer（VP, AI and Computing Infrastructure）とGabe M...

本記事は DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving（arXiv 2024）の解説記事です。 論文概要（Abstract） DistServeは、LLM推論のPrefill（プロンプト処理）とDecode（トークン生成）を物理的に異なるG...

本記事は Scaling LLM Inference: Innovations in Tensor Parallelism, Context Parallelism, and Expert Parallelism（Meta Engineering Blog, 2025年10月17日）の解説記事です。 ブログ概要（Summary） MetaのAI Researchチーム（Cen Zhao,...

本記事は Efficient Memory Management for Large Language Model Serving with PagedAttention（SOSP 2023）の解説記事です。 論文概要（Abstract） 本論文は、LLMサービングにおけるKVキャッシュのメモリ管理問題に対して、OSの仮想メモリとページング機構に着想を得たPagedAttentionアル...

本記事は arXiv:2501.12599 の解説記事です。 論文概要（Abstract） Chen, Yuan, Song ら（2025）は、LLMエージェントの設計をモジュール化し、最適な構成を自動探索するフレームワーク AgentSquare を提案した。エージェントシステムをPlanning、Reasoning、Tool Use、Memoryの4モジュールに分解し、(1) mod...

本記事は arXiv:2406.12045 の解説記事です。 論文概要（Abstract） Yao, Shinn, Razavi, Narasimhan（2024）は、LLMエージェントのツール使用能力・ポリシー準拠・ユーザインタラクション能力を包括的に評価するベンチマークτ-bench（Tool-Agent-User Interaction Benchmark）を提案した。従来のベンチ...

Anthropicブログ解説: Scaling Managed Agents - Brain/Hands/Session分離アーキテクチャ ブログ概要 本記事は Anthropic Engineering Blog: Scaling Managed Agents: Decoupling the brain from the hands の解説記事である。 Anthropicのエンジニア...

Anthropicブログ解説: Effective Harnesses for Long-Running Agents ブログ概要 本記事は Anthropic Engineering Blog: Effective harnesses for long-running agents の解説記事です。 Anthropicのエンジニアリングチームは、長時間動作するAIエージェントが大規模...

ブログ概要 本記事は Tuning Deep Agents to Work Well with Different Models（LangChain公式ブログ、2026年4月29日、Vivek Trivedy・Mason Daugherty著）の解説記事です。 LLMベースのエージェントフレームワークにおいて、モデルごとに異なるプロンプト戦略やツール構成が必要になる問題は広く認識されてい...