Home
0h-n0 TechBLog
キャンセル

📄 論文解説: EAGLE-3 — 学習時テストスケーリングによるLLM投機的デコーディングの進化

本記事は EAGLE-3: Scaling up Inference Acceleration of LLMs via Training-Time Test Scaling の解説記事です。 論文概要(Abstract) EAGLE-3は、投機的デコーディングにおけるドラフトモデルの学習方法を根本的に見直した手法である。先行研究のEAGLE/EAGLE-2が推論時のツリー構造やアルゴリズ...

📄 論文解説: Medusa — 複数デコーディングヘッドによるLLM推論高速化フレームワーク

本記事は Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads の解説記事です。 論文概要(Abstract) Medusaは、LLMの推論高速化のためにターゲットモデル自体に複数の予測ヘッドを追加するフレームワークである。従来の投機的デコーディングが外部のドラフトモデルを必要とす...

📄 論文解説: EAGLE — Feature Uncertaintyの再考によるLLM投機的デコーディングの高速化

本記事は EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty の解説記事です。 論文概要(Abstract) EAGLEは、LLMの投機的デコーディング(Speculative Decoding)を高速化するために、従来のトークンレベルの予測ではなくFeatureレベルでのドラフト生成を提案した手法である...

✍️ Google Research解説: リレーショナルデータのためのグラフファウンデーションモデル

本記事は Google Research Blog: Graph Foundation Models for Relational Data の解説記事です。 ブログ概要(Summary) Google Researchは2025年7月、リレーショナルデータベースのテーブルをグラフに変換し、グラフファウンデーションモデル(GFM)で処理するアプローチを発表した。著者ら(Michael G...

✍️ Google Research解説: ユーザーレベル差分プライバシーによるLLMファインチューニング

本記事は Fine-tuning LLMs with user-level differential privacy の解説記事です。 ブログ概要(Summary) Google Researchの研究者Arun GaneshとZachary Charlesは、LLMのファインチューニングにユーザーレベル差分プライバシー(User-Level DP)を適用する手法を発表した(2025年5...

📄 論文解説: TARTE — セマンティック知識事前学習によるテーブル基盤モデル

本記事は arXiv:2505.14415 “Table Foundation Models: On Knowledge Pre-training for Tabular Learning” の解説記事です。 論文概要(Abstract) 本論文は、テーブルデータ基盤モデル(Tabular Foundation Model: TFM)におけるセマンティック知識事前学習の重要性を分析した研...

📄 論文解説: PEGASUS — CKKSとTFHEを橋渡しするFHE非多項式関数評価手法

本記事は PEGASUS: Bridging Polynomial and Non-polynomial Evaluations in Homomorphic Encryption (arXiv:2401.16255) の解説記事です。 論文概要(Abstract) ニューラルネットワークのFHE推論において、線形層(行列乗算)はCKKSスキームで効率的に処理できるが、非線形活性化関数(...