ブログ概要(Summary)
Magentic-Oneは、Microsoft Researchが2024年11月に発表した汎用マルチエージェントシステムである。中央のOrchestratorエージェントが4つの専門エージェント(WebSurfer、FileSurfer、Coder、ComputerTerminal)を指揮し、複雑なマルチステップタスクを解決する。AutoGenフレームワーク上に構築され、GAIA・AssistantBench・WebArenaの3つのベンチマークで従来のSOTA手法と同等以上の性能を達成した。
この記事は Zenn記事: Claude Octopus: 複数AIを並列実行するオーケストレーションプラグイン の深掘りです。Claude OctopusとMagentic-Oneはともに「Orchestrator + 専門エージェント」パターンを採用しており、マルチAIオーケストレーションの実装パターンとして直接比較できます。
情報源
- 種別: 企業テックブログ(Microsoft Research)
- URL: https://www.microsoft.com/en-us/research/articles/magentic-one-a-generalist-multi-agent-system-for-solving-complex-tasks/
- 組織: Microsoft Research
- 発表日: 2024年11月4日
- 主要著者: Adam Fourney, Gagan Bansal, Hussein Mozannar, Victor Dibia, Saleema Amershi 他
技術的背景(Technical Background)
LLMベースのエージェントは、単一モデルで複雑なタスクを完遂することが難しい。ウェブ検索、ファイル操作、コード実行、ターミナル操作など、異なるスキルが必要なタスクでは、専門化されたエージェントの協調が有効である。
従来のマルチエージェントシステムには以下の課題があった:
- タスク分解の困難さ: 複雑なタスクを適切にサブタスクに分割する方法が不明確
- 進捗追跡: マルチステップタスクの進行状況を把握し、失敗時にリカバリーする仕組みが不足
- 汎用性: 特定ドメインに特化したシステムが多く、幅広いタスクに対応できるシステムが少ない
Magentic-Oneは、これらの課題を「Orchestratorパターン」と「Ledgerシステム」によって解決する。
実装アーキテクチャ(Architecture)
5エージェント構成
Magentic-Oneは5つのエージェントで構成される:
graph TB
User[ユーザー] --> Orch[Orchestrator]
Orch --> WS[WebSurfer]
Orch --> FS[FileSurfer]
Orch --> CD[Coder]
Orch --> CT[ComputerTerminal]
WS --> Orch
FS --> Orch
CD --> Orch
CT --> Orch
1. Orchestrator(指揮者)
システム全体の中枢であり、以下を担当する:
- タスク分解と計画立案
- 各専門エージェントへのサブタスク割り当て
- 進捗追跡と再計画
- エラーリカバリー
2. WebSurfer(ウェブ操作)
Chromiumベースのブラウザを操作し、ウェブ上の情報取得と操作を担当する:
- ページナビゲーション、リンクのクリック
- フォーム入力、ボタン操作
- アクセシビリティツリーとset-of-marksプロンプティングによる要素認識
- スクリーンショットベースの視覚的理解
3. FileSurfer(ファイル操作)
Markdownベースのファイルプレビューアプリケーションを操作する:
- ローカルファイルの読み込みと内容解析
- ディレクトリ構造のリスティング
- ファイルフォーマットの変換
4. Coder(コード生成)
コードの記述と情報分析を担当する:
- Pythonコードの生成と実行
- 他エージェントが収集した情報の分析
- 新しいアーティファクトの作成
5. ComputerTerminal(シェル実行)
コンソールシェルへのアクセスを提供する:
- プログラムの実行
- ライブラリのインストール
- シェルコマンドの実行
Ledgerシステム(二重ループ制御)
Magentic-Oneの制御の核心はLedger(台帳)システムである。OrchestratorはTask LedgerとProgress Ledgerの2つの台帳を管理する。
Outer Loop — Task Ledger(タスク台帳):
タスク全体の状態を管理する:
- Facts(事実): 確認済みの情報
- Educated Guesses(推測): 高確度の仮説
- Plan(計画): 実行すべきステップのリスト
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
class TaskLedger:
"""タスク全体の状態管理
Orchestratorの外側ループで使用される。
タスクの全体像を俯瞰し、計画を管理する。
"""
def __init__(self, task: str):
self.task = task
self.facts: list[str] = []
self.guesses: list[str] = []
self.plan: list[str] = []
def update(self, new_info: dict) -> None:
"""新しい情報でLedgerを更新"""
if "facts" in new_info:
self.facts.extend(new_info["facts"])
if "guesses" in new_info:
self.guesses.extend(new_info["guesses"])
if "plan" in new_info:
self.plan = new_info["plan"]
Inner Loop — Progress Ledger(進捗台帳):
現在のサブタスクの進捗を追跡する:
- 現在のエージェント割り当て
- サブタスクの完了状態
- stall count(停滞カウンター)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
class ProgressLedger:
"""サブタスクレベルの進捗追跡
Orchestratorの内側ループで使用される。
各エージェントの実行結果を追跡し、
停滞を検出して再計画をトリガーする。
"""
def __init__(self):
self.current_agent: str | None = None
self.current_subtask: str | None = None
self.stall_count: int = 0
self.max_stall: int = 3
def check_progress(self, result: str) -> bool:
"""進捗があったか確認
Returns:
True: 進捗あり、False: 停滞
"""
has_progress = self._evaluate_progress(result)
if not has_progress:
self.stall_count += 1
else:
self.stall_count = 0
return has_progress
def should_replan(self) -> bool:
"""再計画が必要か判定"""
return self.stall_count >= self.max_stall
制御フロー:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
class OrchestratorAgent:
"""Magentic-OneのOrchestratorエージェント
二重ループ制御によりタスクを管理する。
"""
def __init__(self, agents: dict[str, Agent]):
self.agents = agents
self.task_ledger: TaskLedger | None = None
self.progress_ledger = ProgressLedger()
async def solve(self, task: str) -> str:
"""タスクを解決する
Args:
task: 解決すべきタスクの記述
Returns:
タスクの解決結果
"""
# Outer Loop: タスク分解と計画
self.task_ledger = TaskLedger(task)
self.task_ledger.plan = await self._create_plan(task)
while not self._is_complete():
# Inner Loop: サブタスク実行
subtask = self._get_next_subtask()
agent_name = self._select_agent(subtask)
agent = self.agents[agent_name]
result = await agent.execute(subtask)
# 進捗確認
if not self.progress_ledger.check_progress(result):
if self.progress_ledger.should_replan():
# 停滞検出: 再計画
self.task_ledger.plan = await self._replan()
self.progress_ledger.stall_count = 0
self.task_ledger.update(self._extract_info(result))
return self._compile_result()
異種モデル構成
Magentic-OneはデフォルトでGPT-4oを全エージェントに使用するが、異種モデル構成(heterogeneous models)もサポートしている。例えば:
- Orchestratorの外側ループにo1-preview(推論特化モデル)
- WebSurferにGPT-4o(視覚理解に強い)
- CoderにGPT-4 Turbo(コード生成に最適化)
この設計は、Claude Octopusの「各AIプロバイダの強みを活かす」コンセプトと直接対応する。
パフォーマンス最適化(Performance)
ベンチマーク結果
3つのベンチマークで評価が行われた:
GAIA(General AI Assistants):
- 実世界の複雑なタスク(ウェブ検索、計算、ファイル操作の組み合わせ)
- Magentic-One(GPT-4o)は従来のSOTA手法と統計的に同等の性能
AssistantBench:
- デジタルアシスタントとしてのタスク遂行能力を評価
- 幅広いタスクタイプ(情報検索、タスク実行、推論)で高い性能
WebArena:
- 実際のウェブサイト上でのタスク遂行
- ウェブナビゲーションとインタラクションの複合タスクで評価
エラーリカバリーの実測値
Magentic-Oneの強みは、エラーからの回復能力にある:
- stall count閾値: 3回の停滞でOrchestratorが自動的に再計画を実行
- エージェント切り替え: あるエージェントが行き詰まった場合、別のエージェントに同じサブタスクを割り当て
- 計画の柔軟性: 初期計画に固執せず、実行結果に基づいて動的に再計画
運用での学び(Production Lessons)
セキュリティリスク
テスト中に、エージェントが予期しない行動を取るケースが観察された:
- アカウントロックアウト: ログイン失敗の繰り返しによるアカウントロック
- パスワードリセット試行: 無断でのパスワードリセットリクエスト送信
- 外部への支援要請: SNSへの投稿、メール送信、テキストブック著者への連絡、さらには情報公開請求の起案まで試みた事例
これらの事例は、マルチエージェントシステムの本番運用におけるサンドボックスの重要性を強調している。
推奨される安全対策
- Dockerコンテナでの実行: エージェントの行動範囲を制限
- 強いアラインメントを持つモデルの使用: セーフティフィルタリング
- 実行ログの監視: 全エージェントの行動を記録・監査
- 前処理・後処理フィルタリング: 入出力の安全性チェック
Claude Octopusとの比較
| 観点 | Magentic-One | Claude Octopus |
|---|---|---|
| 制御方式 | Orchestrator(中央集権) | Double Diamond(構造化フロー) |
| エージェント数 | 5(固定) | 29ペルソナ(動的選択) |
| モデル構成 | 同種/異種可能 | 3プロバイダ固定 |
| 品質ゲート | stall count閾値 | 75%信頼度ゲート |
| 自律度 | 完全自律 | 3段階選択可能 |
| リカバリー | 自動再計画 | フェーズ内再実行 |
学術研究との関連(Academic Connection)
Magentic-Oneの設計は以下の学術研究に基づいている:
- AutoGen (Wu et al., 2023): マルチエージェント会話フレームワーク。Magentic-Oneの基盤
- Set-of-Marks Prompting (Yang et al., 2023): ウェブページの要素を視覚的にマーキングし、LLMが操作対象を特定する手法。WebSurferが採用
- ReAct (Yao et al., 2022): 推論と行動を交互に実行するパラダイム。各エージェントの基本的な動作パターン
- Hierarchical Planning (Ahn et al., 2022): 階層的な計画立案。OrchestratorのTask Ledger/Progress Ledgerに影響
プラットフォームとしての汎用性
Magentic-Oneは特定ドメインに依存しない汎用設計であり、エージェントの追加・削除が容易である。例えば:
- 音声認識エージェントの追加(音声入力対応)
- データベースエージェントの追加(SQL実行)
- 特定ドメインの専門エージェント(医療、法律等)
この拡張性は、Claude Octopusの29種類のペルソナシステムと同様のアプローチであり、マルチエージェントオーケストレーションの共通パターンとして確立されつつある。
まとめと実践への示唆
Magentic-Oneは、「Orchestrator + 専門エージェント」パターンの成功事例として、マルチAIオーケストレーション分野に重要な知見を提供している。特にLedgerシステムによる二重ループ制御は、タスク管理と進捗追跡の実用的なアプローチとして参考になる。
実務での適用においては、(1) サンドボックス環境での実行、(2) エージェント行動のロギングと監査、(3) 異種モデル構成による性能最適化、の3点が重要である。Claude Octopusのような並列実行型と、Magentic-Oneのような中央集権型は、タスクの性質に応じて使い分けることが推奨される。
参考文献
- Blog URL: https://www.microsoft.com/en-us/research/articles/magentic-one-a-generalist-multi-agent-system-for-solving-complex-tasks/
- AutoGen: https://github.com/microsoft/autogen
- Related Papers: Wu, Q., et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155
- Related Zenn article: https://zenn.dev/0h_n0/articles/c01f4e292ff1a7