本記事は Halo: Batched Query Processing for LLM-based Agentic Workflows（arXiv:2509.02121）の解説記事です。 論文概要（Abstract） Haloは、LLMベースのエージェントワークフローにおけるバッチクエリ処理を最適化するシステムである。エージェントワークフローを構造化されたクエリプランDAG（有向非巡回グ...

論文概要 H₂O（Heavy-Hitter Oracle）は、LLMの推論時に発生するKVキャッシュのメモリ消費問題に対し、少数のトークン（Heavy Hitters）がアテンションスコアの大部分を占めるという経験的観察に基づく動的エビクション手法を提案した論文である。著者らは、累積アテンションスコアが冪乗則（power-law）に従うことを発見し、Heavy Hitterトークンと直近ト...

本記事は DynTaskMAS: A Dynamic Task Graph-driven Framework for Asynchronous and Parallel LLM-based Multi-Agent Systems（arXiv:2503.07675、ICAPS 2025採択）の解説記事です。 論文概要（Abstract） DynTaskMASは、LLMベースのマルチエージェ...

本記事は PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling の解説記事です。 論文概要（Abstract） PyramidKVは、LLMの各層におけるアテンション分布パターン（Pyramidal Information Funneling）の観察に基づき、KVキャッシュを動的に...

本記事は MetaAgent: Automatically Constructing Multi-Agent Systems Based on Finite State Machines（arXiv:2507.22606、ICML 2025採択）の解説記事です。 論文概要（Abstract） MetaAgentは、タスク記述から有限状態マシン（FSM）に基づくマルチエージェントシステムを...

論文概要（Abstract） KIVIは、LLM推論時のKVキャッシュをチューニング不要で2ビットまで圧縮する非対称量子化手法である。Key Cacheにはper-channel量子化、Value Cacheにはper-token量子化を適用する非対称設計により、ピークメモリ2.6倍削減、バッチサイズ最大4倍拡大、スループット2.35〜3.47倍向上を達成したと著者らは報告している。 本...

本記事は LLMCompiler: An LLM Compiler for Parallel Function Calling（arXiv:2312.04511、ICML 2024採択）の解説記事です。 論文概要（Abstract） LLMCompilerは、LLMの外部関数呼び出しを効率的に並列実行するためのフレームワークである。従来のReActパターンでは関数呼び出しが逐次的に行われ...

論文概要（Abstract） 本記事は Efficient Streaming Language Models with Attention Sinks の解説記事です。 StreamingLLMは、有限長のアテンションウィンドウで事前学習されたLLMを、ファインチューニングなしに無限長のシーケンスへ対応させるフレームワークである。著者らは「Attention Sink」現象を発見した。...

本記事は Delta Channels: How We’re Evolving our Runtime for Long-Running Agents（LangChain公式ブログ、2026年5月12日公開、著者: Sydney Runkle）の解説記事です。 ブログ概要（Summary） LangGraph v1.2で導入されたDeltaChannelは、長時間実行エージェントのチェッ...

本記事は SnapKV: LLM Knows What You are Looking for Before Generation（arXiv:2404.14469、NeurIPS 2024採択）の解説記事です。 論文概要（Abstract） SnapKVは、LLMのKVキャッシュサイズをファインチューニングなしで効率的に圧縮する手法である。著者らは、各アテンションヘッドが生成時にプロン...