最近の更新
本記事は How Speculative Decoding Boosts vLLM Performance の解説記事です。 ブログ概要（Summary） vLLMプロジェクトが2024年10月に公開した公式ブログでは、vLLMにおける投機的デコーディングの実装アーキテクチャ、サポートする3つの手法（ドラフトモデル方式、Prompt Lookup Decoding、Medusa/EAGL...
論文概要（Abstract） 本記事は arXiv:2406.13352 “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents” の解説記事です。 AgentDojoは、ツールを利用するLLMエージェントに対するプロンプトインジェクション攻撃と防...
論文概要（Abstract） 本記事は arXiv:2502.11157 “ToolNet: Connecting Large Language Models with Massive Tools via Tool Graph” の解説記事です。 ToolNetは、数百〜数千規模の外部ツールをグラフ構造でモデル化し、LLMエージェントが効率的にツールを選択・連鎖実行できるようにする手法で...
本記事は Fast Inference from Transformers via Speculative Decoding の解説記事です。 論文概要（Abstract） 本論文は、投機的デコーディング（Speculative Decoding）の理論的基盤を確立した原論文の一つである。著者らは、CPUの投機的実行（speculative execution）の概念をLLMの自己回帰生...
ブログ概要（Summary） 本記事は AWS Machine Learning Blog: “Introducing Amazon Bedrock AgentCore Gateway: Transforming enterprise AI agent tool development” および関連記事 Streamline AI agent tool interactions: Conn...
本記事は EAGLE-3: Scaling up Inference Acceleration of LLMs via Training-Time Test Scaling の解説記事です。 論文概要（Abstract） EAGLE-3は、投機的デコーディングにおけるドラフトモデルの学習方法を根本的に見直した手法である。先行研究のEAGLE/EAGLE-2が推論時のツリー構造やアルゴリズ...
ブログ概要（Summary） 本記事は Microsoft Azure Architecture Blog: “Decision Matrix: API vs MCP Tools — The Great Integration Showdown” の解説記事です。 Microsoftの Azure Architecture チームは、エンタープライズ環境でのツール統合において、Custo...
本記事は Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads の解説記事です。 論文概要（Abstract） Medusaは、LLMの推論高速化のためにターゲットモデル自体に複数の予測ヘッドを追加するフレームワークである。従来の投機的デコーディングが外部のドラフトモデルを必要とす...
ブログ概要（Summary） 本記事は Microsoft Defender Cloud Blog: “Plug, Play, and Prey? The security risks of the Model Context Protocol” の解説記事です。 MicrosoftのDefender Cloudチームは、Model Context Protocol（MCP）の利便性の裏...
本記事は EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty の解説記事です。 論文概要（Abstract） EAGLEは、LLMの投機的デコーディング（Speculative Decoding）を高速化するために、従来のトークンレベルの予測ではなくFeatureレベルでのドラフト生成を提案した手法である...