最近の更新
本記事は BeLLMan: Controlling LLM Congestion の解説記事です。 論文概要（Abstract） LLMアプリケーションはインフラストラクチャの負荷状態に関知せず、自己回帰的にトークンを生成し続ける。これにより、高負荷時に推論レイテンシが増大し、ユーザー体験が悪化する。著者らは、LLMインフラからアプリケーションに対して負荷状況をシグナリングし、出力長を動...
本記事は Universal Model Routing for Efficient LLM Inference の解説記事です。 論文概要（Abstract） モデルルーティングは、LLMプールを維持し、各プロンプトを最小コストで処理可能なLLMにルーティングすることで推論コストを削減する手法である。著者らは、テスト時に未知のLLMが利用可能になる動的な環境に対応するため、各LLMを代...
本記事は RouteBalance: Fused Model Routing and Load Balancing for Heterogeneous LLM Serving の解説記事です。 論文概要（Abstract） 異種LLMサービング環境では、モデルルーティング（品質・コスト基準でモデルを選択）と負荷分散（キュー長基準でインスタンスを選択）が2つの独立した層で動作している。著者...
本記事は AI gateway capabilities in Azure API Management (Microsoft Learn) の解説記事です。最終更新日: 2026年5月29日。 ブログ概要（Summary） Azure API Management（APIM）のAI Gatewayは、LLMのAPI管理に特化した機能群である。Microsoft公式ドキュメントによると、...
ブログ概要 本記事は NVIDIA Developer Blog: “Boosting Q&A Accuracy with GraphRAG Using PyG and Graph Databases”（2025年3月26日公開、Brian Shi, Alfred Clemedtson, Zach Blumenfeld, Rishi Puri 著）の解説記事です。 NVIDIAの...
本記事は Neo4j Developer Blog: How to improve multi-hop reasoning with knowledge graphs and LLMs の解説記事です。 ブログ概要（Summary） Neo4jのGraph ML and GenAI ResearchチームのTomaž Bratanič氏は、従来のベクトル類似度検索に基づくRAG（Retr...
論文概要（Abstract） 本記事は arXiv:2510.02827 の解説記事です。 StepChain GraphRAGは、マルチホップ質問応答（Multi-hop QA）において、質問分解（Question Decomposition）とナレッジグラフ上のBFS Reasoning Flow（BFS-RF）を組み合わせた検索拡張生成フレームワークである。著者らは、従来のRAG手...
本記事は Intelligent Router for LLM Workloads: Improving Performance Through Workload-Aware Load Balancing の解説記事です。 論文概要（Abstract） LLM推論ワークロードにはprefillフェーズとdecodeフェーズという異なるリソース要求を持つ2つの段階が存在する。著者らは、既存...
本記事は HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models の解説記事です。 論文概要（Abstract） HippoRAGは、人間の海馬における記憶インデキシング理論（Hippocampal Memory Indexing Theory）をRAG（Retrieval-Augme...
論文概要 本記事は LLM-Based Multi-Hop Question Answering with Knowledge Graph Integration in Evolving Environments（Chen et al., EMNLP 2024 Findings）の解説記事です。 大規模言語モデル（LLM）は広範な知識を内部パラメータに保持しているが、現実世界の事実は絶え...