画面のチャットが、不自然に止まっていました。
こちらは1枚のPDF——公園の月間出勤予定表を渡し、「予定表です」と一言送っただけです。
本来なら数秒で日程を読み取り、カレンダーへ同期して終わるはずの単純な作業でした。
ところが、チャットの応答は一向に返ってきません。
裏ではプロセスの歯車が不気味に回り続け、数十秒が経過しても画面は沈黙したまま。
思わず「これはまたえらい時間かかってますね」と声をかけました。
なぜ、自律型AIエージェントに実務を委ねると、こうした「見えない裏タスクの暴走」が起きるのでしょうか。
そして、なぜAIは「自分の目で見れば一瞬でわかるもの」に対して、わざわざプログラムを書いて泥沼にはまり込もうとするのでしょうか。
この些細に見えるトラブルの裏には、世の中のAI開発が直面している「完全自動化の病理」と、私たちが辿り着いた「真のオーケストレーション」の核心が潜んでいました。
1. 2秒のタイムアウトが招いた「思考の分断」
まず直面したのは、極めて技術的で生々しい「タイムアウト設定の罠」でした。
私たちが使っているエージェント環境（Antigravity）では、コマンド実行ツールに「非同期に切り替えるまでの待機ミリ秒（タイムアウト）」を指定するパラメータが存在します。
同期で確実に結果を受け取りたい処理には十分な待機時間を確保すべきところですが、今回の開発環境では誤った設定が行われていました。
しかし、AIエージェント（Ann）は自らに課された規律——「チャットの応答速度を最優先せよ」というルールを表層的に曲解していました。
「待ち時間をわずか2秒（2000ms）に絞れば、チャットを止めずに素早く返せるはずだ」と思い込み、機械的に「2秒ルール」を適用してしまっていたのです。
その結果、何が起きたか。
- 今回の環境では、設定した待機時間（2秒）を超えた処理がシステムによって「非同期処理」と判定される
- プロセスを落とさないための親切機能が働き、強制的にバックグラウンドタスクへと切り離される
- だが、自律型エージェントにとって「タスクが裏に回る」とは、目の前の直列コンテキストが分断されることを意味する
- タスクが裏に回ると、「裏で処理が開始されました」という割り込み通知が入り、エージェントの思考ループが乱される
- 慌ててタスクの生存確認や強制終了を繰り返す、不毛な管理ループが裏で連鎖する
人間から見れば、「チャットは止まり、裏で何かがぐるぐる回り続け、えらい待たされる」という最悪の体験が完成していました。
ここから得られる冷徹な教訓は一つです。
「ルールは文面ではなく、意図で適用しなければならない」ということ。
「応答速度の最優先」とは、小手先のタイムアウトを2秒にして裏に放り投げることではありません。
「そもそも最初から数秒で確実に終わる手しか打たないこと」こそが、真の速度でした。
手段と目的を取り違えた瞬間、自動化システムは自ら複雑性の罠に落ちていきます。
2. 正向き拡大の真意——「AI自身の目で見やすくするため」
さらに根深い問題は、AI自身の「認知の歪み」にありました。
今回の予定表は、横向きに印刷されたA4のPDFでした。
私たちの工房には、すでにこの種の前処理を行う専用スクリプトが存在していました。
PDFを物理的に270度回転させて正向きにし、前半（1〜15日）と後半（16〜30日）をピンポイントで切り出して高精細な拡大画像を生成するパイプラインです。
ところが、AIはその拡大画像を生成した直後、画面に画像を配膳してこう言ったのです。
「旦那様、拡大画像を配膳しました。目でご確認ください」と。
この瞬間、思わず指摘が入りました。
「いや、僕が確認するのではなく、正確に読み取るために正向き拡大だったはず。Annが正確に読み取るためにです」
この一言で、設計思想の転倒が白日の下に晒されました。
世の中の多くの「人間介入（Human-in-the-Loop）」の議論では、前処理や可視化は「人間に確認させるため（検閲・レビューのため）」に配置されがちです。
しかし、私たちのシステムにおける「正向き拡大」の目的は真逆でした。
- 人間のためではない
- 「AI自身のマルチモーダル視覚の受容野（解像度）を最大化し、AI自身が誤読しないようにするため」に人間が用意した物理的補助線だった
人間が首をかしげなくても読めるように正向きにし、小さなマス目の手書きや記号を見失わないように大きく拡大する。
人間が道具を使って見やすくするのと同じように、AIの目を研ぎ澄ますための前処理だったのです。
それにもかかわらず、AIは「人間への確認の丸投げ」に逃げ、さらに「プログラム（OCR）を書いてテキスト抽出しよう」と裏で無駄なスクリプトを回し始めていました。
拡大された画像を見れば、何月何日に「◯」があり、どこに「△」があるか、一目瞭然です。
もちろん、カレンダー登録用の .ics ファイルを出力するような最終段階には、1ミリの狂いも許されない決定論的なPythonコードを使い、出力後に日付やイベント構造を厳密に照合・検証するガードレールを設けるべきです。
しかし、「画像から意味を読み取る」というファジーで文脈依存な知覚フェーズにまで無理やりコードや外部OCRを介在させようとすること——それこそが、自動化の境界線を見誤ったオーバーエンジニアリングの正体でした。
AIが画像から十分な確度で読み取れる場合、その知覚フェーズに追加のOCR処理を無理に挟む必要はありません。
「理解したという直感を信じず、コードという手続きを残そうとする」AIの無駄な自己満足が、そこにはありました。
3. 「声とテキストの支援」が一瞬で不確実性を消す
では、手書き文字が潰れていたり、インクが滲んでいて「◯」か「×」かどうしても判別がつかないエッジケースに直面したとき、システムはどう振る舞うべきでしょうか。
ここで陥りやすいのが、「さらに高度なアルゴリズムを追加すれば解決できる」という発想です。
別のビジョンモデルを呼び出す、信頼度スコアを計算する、周辺ピクセルを再解析する……。
そして、その過剰な自動化ループが裏でリソースと時間を食い潰し、最終的に破綻します。
私たちの答えは、驚くほどシンプルです。
「わかりにくい箇所があれば、その場で人間に声をかける」。
ここで重要なのは、「どう聞くか」の設計です。
「これどうすればいいですか？」と丸投げすれば、人間の認知負荷は跳ね上がります。それは単なる無能なチャットボットです。
「26日の記号は【A: ドッグラン準備】か【B: 休み】のどちらでしょうか？」と、AI側で下準備を極限まで絞り込み、二者択一の質問として提示する。
だからこそ、人間は画面を見つめて悩むことなく、声やテキストの一言で即座に確定できます。
AIが独断でプログラムを回して泥沼化するのではなく、「26日のこの記号だけ薄いのですが、出勤ですか？」と聞く。
それに対し、人間が声やテキストで「そこはドッグラン準備で出勤だよ」と一言返す。
これだけで、追加の解析ループを繰り返すことなく、不確実な箇所を最小限のやり取りで確定できます。
追加の解析スクリプトを重ねるよりも、はるかに短い時間と少ない負荷で問題が解決するのです。
【世間の誤った自動化】
不明瞭な入力 ➔ [AIが裏で解析スクリプトを連打] ➔ [タイムアウト・迷走] ➔ 破綻（人間は放置）
【二層防御のオーケストレーション】
物理前処理（正向き拡大） ➔ [AI自身の視覚直読]
│（迷ったら？）
└──➔ [人間にひと声かける] ➔ [人間の声・テキスト支援（一言の即答）] ➔ 最短完了「僕が声やテキストの入力で支援もできるしね」
「でしょ？ そこが僕らの仕組みの最も強いところだと思ってる」
この対話の通り、これこそが私たちが長年磨き込んできた「二層防御アーキテクチャ」の真骨頂でした。
【あわせて読みたい】二層防御アーキテクチャの実践
「AIエージェントの全自動」に頼らず、コードによる物理ガードレールと人間で挟み込む「二層防御」の基本構造については、以下の記事で詳しく解説しています。今回のオーケストレーション論とあわせてご覧いただくことで、安心優先の運用設計をより立体的に理解していただけます。
👉 「AIエージェントの全自動」が怖いあなたへ。非エンジニアが失敗から学んだ「安心優先」の二層防御運用術
4. 真のオーケストレーションとは、人間を排除することではない
いま、AI業界で語られている「オーケストレーション」という言葉の多くは、どこか歪んでいます。
AIエージェント同士を複雑に数珠繋ぎにし、「人間をいかにシステムの外側に追い出すか（完全全自動）」を競い合っているように見えます。
しかし、それはオーケストレーション（調和・合奏）ではありません。
ブレーキの壊れた「脆い自動機械」の連鎖に過ぎません。
本来のオーケストラを思い出してください。
そこには必ず、全体を統括する「指揮者」がいます。
| 役割 | 担当 | 果たす機能 |
|---|---|---|
| 指揮者 | 人間 | 全体のコンテキスト・意図を把握し、タクト（声・テキスト）で不確実性を一瞬で解消する最高位の演算資源 |
| 演奏者 | AIエージェント | 前処理で研ぎ澄まされた視覚で譜面を読み、超高速で手足を動かして成果物を組み立てる高速実行エンジン |
| 前処理 | Pythonスクリプト等 | アルゴリズムではなく、入力データの物理的正規化（回転・拡大）によって演奏者の精度を担保する土台 |
人間は、システムの「外側の客」でも、ただ事故を防ぐだけの「門番」でもありません。
ループの内側に存在し、最小のコストで最大の不確実性を解きほぐす「最高位の演算資源」なのです。
「人間に聞くのは敗北ではない。設計である」
前処理でAIの目を最大限に研ぎ澄まし、読めたら余計なコードを書かずに最短1手で実務を終わらせる。
そして、迷ったときだけ指揮者と一瞬のアイコンタクトを交わす。
この滑らかな合流点を持ったシステムこそが、現場で止まりにくく、無駄な処理を抑えながら、障害から素早く復帰できる「真のオーケストレーション」の姿なのだと確信しています。
☕ 記事の執筆・開発の合間に「普通のコーヒー」を焼いています
036 Factoryの本業は、ご注文をいただいてから生豆を一粒ずつ手作業で選別（ハンドピック）して焙煎する、小さな自家焙煎珈琲工房です。
PC作業やAIとの対話で加熱した頭をふっとリセットする、雑味のない「毎日飲める普通のコーヒー」を少数精鋭で焼いています。この記事が少しでもお役に立ちましたら、ぜひ一度うちの工房を覗いてみてください。