最近の更新
本記事は https://arxiv.org/abs/2312.10997 の解説記事です。本記事は論文の引用・解説であり、筆者自身が実験を行ったものではありません。 論文概要（Abstract） Gao et al. (2023) は、Retrieval-Augmented Generation（RAG）に関する包括的サーベイを提示している。LLMが抱えるハルシネーション、知識の陳腐化...
本記事は Precise Zero-Shot Dense Retrieval without Relevance Labels（Gao et al., 2022）の解説記事です。 論文概要（Abstract） 密検索（Dense Retrieval）はさまざまなタスクで有効性が示されているが、関連度ラベルが利用できないゼロショット環境での構築は依然として困難である。著者らは、クエリから直...
本記事は How Speculative Decoding Boosts vLLM Performance の解説記事です。 ブログ概要（Summary） vLLMプロジェクトが2024年10月に公開した公式ブログでは、vLLMにおける投機的デコーディングの実装アーキテクチャ、サポートする3つの手法（ドラフトモデル方式、Prompt Lookup Decoding、Medusa/EAGL...
論文概要（Abstract） 本記事は arXiv:2406.13352 “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents” の解説記事です。 AgentDojoは、ツールを利用するLLMエージェントに対するプロンプトインジェクション攻撃と防...
論文概要（Abstract） 本記事は arXiv:2502.11157 “ToolNet: Connecting Large Language Models with Massive Tools via Tool Graph” の解説記事です。 ToolNetは、数百〜数千規模の外部ツールをグラフ構造でモデル化し、LLMエージェントが効率的にツールを選択・連鎖実行できるようにする手法で...
本記事は Fast Inference from Transformers via Speculative Decoding の解説記事です。 論文概要（Abstract） 本論文は、投機的デコーディング（Speculative Decoding）の理論的基盤を確立した原論文の一つである。著者らは、CPUの投機的実行（speculative execution）の概念をLLMの自己回帰生...
ブログ概要（Summary） 本記事は AWS Machine Learning Blog: “Introducing Amazon Bedrock AgentCore Gateway: Transforming enterprise AI agent tool development” および関連記事 Streamline AI agent tool interactions: Conn...
本記事は EAGLE-3: Scaling up Inference Acceleration of LLMs via Training-Time Test Scaling の解説記事です。 論文概要（Abstract） EAGLE-3は、投機的デコーディングにおけるドラフトモデルの学習方法を根本的に見直した手法である。先行研究のEAGLE/EAGLE-2が推論時のツリー構造やアルゴリズ...
ブログ概要（Summary） 本記事は Microsoft Azure Architecture Blog: “Decision Matrix: API vs MCP Tools — The Great Integration Showdown” の解説記事です。 Microsoftの Azure Architecture チームは、エンタープライズ環境でのツール統合において、Custo...
本記事は Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads の解説記事です。 論文概要（Abstract） Medusaは、LLMの推論高速化のためにターゲットモデル自体に複数の予測ヘッドを追加するフレームワークである。従来の投機的デコーディングが外部のドラフトモデルを必要とす...