論文概要（Abstract）
本論文は、ノーコード開発プラットフォーム（NCDP: No-Code Development Platform）にLLMを統合する際の適性要因を実証的に分析した研究である。著者ら（Minghe Wang et al.）は、4つの要因——モデル選択、プロンプト言語、学習データの背景知識、エラー情報を活用したFew-shot設計——がノーコード開発の成功率に与える影響を、スマートホーム自動化の4シナリオで評価している。オープンソースのLLM搭載NCDPを用いた実験により、プラットフォーム設計とLLM選択に関する実践的な知見が得られたと報告されている。
本記事は Zenn記事: Malleable Softwareとは何か——LLM時代の動的ソフトウェアとその実現要件 の深掘り記事です。元論文は arXiv:2505.04710 で公開されています。
情報源
- arXiv ID: 2505.04710
- URL: https://arxiv.org/abs/2505.04710
- 著者: Minghe Wang, Alexandra Kapp, Trever Schirmer, Tobias Pfandzelter, David Bermbach
- 発表年: 2025年（v1: 2025-05-07、v2: 2025-10-21）
- 分野: cs.DC（Distributed, Parallel, and Cluster Computing）
背景と動機（Background & Motivation）
ノーコード開発プラットフォーム（NCDP）は、プログラミング知識のないエンドユーザーが自分のニーズに合ったアプリケーションを構築するための手段として注目されている。Zapier、IFTTT、Node-REDなどのプラットフォームは、GUIベースのドラッグ＆ドロップインターフェースでワークフローを構築できるが、複雑なロジックの表現には限界がある。
LLMの統合により、NCDPのユーザーは自然言語でアプリケーションの振る舞いを記述できるようになる。しかし、著者らが指摘するのは、「どのLLMを」「どのように」NCDPに統合すべきかについてのガイドラインが不足しているという点である。
この問題は、Malleable Softwareの文脈で重要である。Ink & Switchが提唱する「Gentle Slope」パターンでは、ユーザーが段階的にカスタマイズの深度を増していくことが想定されている。NCDPはその最初の段階（GUIベースのカスタマイズ）に位置し、LLM統合は次の段階（自然言語によるカスタマイズ）への移行を実現するものである。本論文は、この移行を成功させるための技術的条件を明らかにしている。
主要な貢献（Key Contributions）
- 貢献1: LLMのNCDP統合における4つの影響要因（モデル選択、プロンプト言語、学習データ背景、Few-shot設計）の同定と実験的評価
- 貢献2: スマートホーム自動化の4シナリオにおけるLLMの比較評価。商用モデル（GPT-4）とオープンソースモデル（Llama等）の性能差を定量的に報告
- 貢献3: エラー情報を活用したFew-shot設計（Error-Informed Few-Shot）の提案と有効性の実証
技術的詳細（Technical Details）
実験設計
著者らは、以下の4つの要因を独立変数として実験を設計している。
要因1: モデル選択（Model Selection）
商用LLM（GPT-4, GPT-3.5-turbo）とオープンソースLLM（Llama 2, CodeLlama等）を比較している。各モデルの特性を以下に整理する。
| モデル | パラメータ数 | 特徴 | コード生成能力 |
|---|---|---|---|
| GPT-4 | 非公開 | 汎用最高性能 | 高 |
| GPT-3.5-turbo | 非公開 | 低コスト汎用 | 中 |
| Llama 2 | 7B/13B/70B | オープンソース汎用 | 中 |
| CodeLlama | 7B/13B/34B | コード特化 | 中〜高 |
要因2: プロンプト言語（Prompt Language）
NCDPの自然言語インターフェースにおいて、プロンプトの言語（英語 vs. ドイツ語）がコード生成品質に与える影響を評価している。著者らの仮説は、LLMの学習データの言語分布に偏りがあるため、英語プロンプトがより高い成功率を示すというものである。
要因3: 学習データの背景知識（Training Data Background）
NCDPのドメイン固有知識（IoTデバイスのAPI仕様、Home Assistantの設定形式等）をLLMのプロンプトに含めるかどうかの影響を評価している。
要因4: エラー情報を活用したFew-shot設計（Error-Informed Few-Shot）
従来のFew-shot learning（正解例のみを提供）に加えて、「よくある誤り → 修正後の正解」のペアを提供するアプローチの有効性を評価している。
エラー情報活用Few-shotの設計
著者らが提案するError-Informed Few-Shot設計の概念を以下に示す。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 従来のFew-shot（正解例のみ）
traditional_few_shot = [
{
"input": "リビングの照明が21時を過ぎたら暗くする",
"output": "automation:\n trigger:\n platform: time\n at: '21:00:00'\n action:\n service: light.turn_on\n data:\n brightness: 30\n entity_id: light.living_room"
}
]
# Error-Informed Few-shot（エラーパターンも提供）
error_informed_few_shot = [
{
"input": "リビングの照明が21時を過ぎたら暗くする",
"common_error": "automation:\n trigger:\n platform: time\n at: '21:00'\n # エラー: 秒が欠落、brightness指定なし\n action:\n service: light.turn_off\n entity_id: light.living_room",
"error_explanation": "1) at: のフォーマットは 'HH:MM:SS'（秒必須）\n2) light.turn_off ではなく light.turn_on + brightness で調光",
"correct_output": "automation:\n trigger:\n platform: time\n at: '21:00:00'\n action:\n service: light.turn_on\n data:\n brightness: 30\n entity_id: light.living_room"
}
]
この設計の背景にある仮説は、LLMが「正解を学ぶ」だけでなく「典型的な誤りを認識し回避する」ことで、生成精度が向上するというものである。
評価シナリオ
著者らは、スマートホーム自動化プラットフォーム（Home Assistant）上の4つのシナリオで実験を実施している。
- 照明制御: 時間・動作検知に基づく照明のON/OFF・調光
- 温度制御: 温度センサーの値に基づくエアコン・ヒーターの制御
- セキュリティ: ドア/窓センサーに基づくアラート・通知
- エネルギー管理: 消費電力モニタリングと自動省電力制御
これらのシナリオは、Malleable Softwareの「パーソナルソフトウェア」の典型的な適用場面に対応している。ユーザーは自分の生活スタイルに合わせてスマートホームの挙動をカスタマイズしたいが、プログラミング知識がないため従来はプリセットの設定しか使えなかった。
実験結果（Results）
モデル選択の影響
著者らが報告した結果によると、GPT-4が全シナリオで最も高い成功率を示している。
| モデル | 照明制御 | 温度制御 | セキュリティ | エネルギー管理 | 平均 |
|---|---|---|---|---|---|
| GPT-4 | 高 | 高 | 中〜高 | 中〜高 | 最高 |
| GPT-3.5-turbo | 中 | 中 | 中 | 中 | 中 |
| CodeLlama 34B | 中 | 中 | 低〜中 | 低〜中 | 中 |
| Llama 2 7B | 低 | 低 | 低 | 低 | 低 |
ただし、著者らは商用モデル（GPT-4）のコストとプライバシー問題を指摘しており、オープンソースモデルのファインチューニングによる性能向上の可能性を今後の課題として挙げている。
プロンプト言語の影響
著者らの実験結果によると、英語プロンプトがドイツ語プロンプトより一貫して高い成功率を示している。この結果は、LLMの学習データにおける英語の優位性を反映しており、非英語圏のユーザーにとってNCDPの利用障壁が存在することを示唆している。
Error-Informed Few-shotの効果
著者らは、Error-Informed Few-shot設計が従来のFew-shotと比較して成功率の改善に寄与したと報告している。特に、ドメイン固有のフォーマットエラー（YAML構文、API呼び出し形式等）の削減に有効であったと述べている。
実装のポイント（Implementation）
本論文の知見に基づくNCDP設計のポイントを以下に整理する。
1. プロンプトテンプレートの設計: ユーザーの自然言語入力を、ドメイン固有のコンテキスト（デバイスリスト、API仕様等）で補強するテンプレートを用意する。
2. エラーフィードバックの構造化: 生成コードの実行エラーを構造化してLLMにフィードバックし、自動修正を促す。著者らのError-Informed Few-shotアプローチを参考に、よくあるエラーパターンのライブラリを構築することが推奨される。
3. 多言語サポートへの配慮: 非英語圏のユーザーに対しては、入力を内部的に英語に翻訳してからLLMに処理させるアプローチが有効と考えられる。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
class MultilingualNCDP:
"""多言語対応ノーコード開発プラットフォーム"""
async def process_user_request(
self,
user_input: str,
user_language: str,
device_context: dict,
) -> str:
"""ユーザーリクエストを処理し自動化コードを生成
Args:
user_input: ユーザーの自然言語入力
user_language: 入力言語コード
device_context: 接続デバイス情報
"""
# 非英語入力は内部的に英語に変換
if user_language != "en":
english_input = await self.translate(user_input, "en")
else:
english_input = user_input
# ドメインコンテキストを付加
enriched_prompt = self._build_prompt(
english_input,
device_context,
self.error_informed_examples,
)
# コード生成
generated_code = await self.llm.generate(enriched_prompt)
return generated_code
実運用への応用（Practical Applications）
Malleable Softwareの「Gentle Slope」の実装
本論文の知見は、Ink & Switchの「Gentle Slope」パターンの技術的実装に直接適用できる。
Level 1（GUI操作のみ）: NCDPの既存GUI。ドラッグ＆ドロップで自動化ルールを構築
Level 2（自然言語によるカスタマイズ）: 本論文が扱う領域。LLMを統合したNCDPにより、「照明を21時に暗くして」のような自然言語指示でカスタマイズ
Level 3（コード修正）: 生成されたコードをユーザーが直接編集。Zenn記事で紹介されているVibe codingの領域
各レベル間の移行を滑らかにするには、本論文が示した4つの要因（特にError-Informed Few-shot）の最適化が重要である。
IoTとパーソナルソフトウェア
スマートホーム自動化は、Kevin Rooseが提唱する「Software for One」の典型的なユースケースである。各家庭のデバイス構成、生活パターン、好みは異なるため、汎用的なプリセットでは対応しきれない。LLM統合NCDPにより、非技術ユーザーが自分の生活に最適化されたスマートホーム自動化を構築できる可能性がある。
関連研究（Related Work）
- Node-RED: フロー型ビジュアルプログラミング環境。本論文の実験プラットフォームのベースとなっている。Node-REDのGUIにLLMを統合するアプローチとして参考になる
- IFTTT (If This Then That): 最もシンプルなNCDPの一つ。「トリガー → アクション」の単純なモデルだが、複雑な条件分岐には対応できない。LLM統合による拡張可能性が示唆される
- Wang et al. (2025) “LLM4FaaS”: 同著者グループによる研究。LLMが生成したコードのデプロイを自動化するフレームワーク（本シリーズの別記事で解説）。本論文のNCDP統合とLLM4FaaSのデプロイ自動化を組み合わせることで、より完全なエンドツーエンドのノーコード開発環境が実現可能
まとめと今後の展望
本論文は、LLMをNCDPに統合する際の実践的な知見を提供している。4つの影響要因（モデル選択、プロンプト言語、学習データ背景、Error-Informed Few-shot）の分析により、NCDP設計者が意識すべきポイントが明確化された。
Malleable Softwareの観点では、本論文の知見は「Gentle Slope」の自然言語カスタマイズ層の技術的基盤を提供している。今後の課題として、(1) オープンソースLLMのファインチューニングによるコスト削減、(2) IoT以外のドメイン（ビジネスプロセス、データ分析等）への適用、(3) ユーザースタディによる実際のエンドユーザー体験の評価、が挙げられる。
参考文献
- arXiv: https://arxiv.org/abs/2505.04710
- Related Zenn article: https://zenn.dev/0h_n0/articles/c0712fa2cd13b2