食品支援を行うNGOにおけるRobo ClawのPilot・PoC・検証方法
Refine STEPで定義した要件をもとに、1拠点・1食品カテゴリ・1寄贈元・1配布業務という限定範囲でAgent・Skill・Tool Policyを構築し、商品名誤認識、期限誤認識、保存条件誤認識、アレルギー情報欠落、誤分類・誤要約・誤翻訳、誤送信、重複配布、個人・健康情報混入、Prompt Injection、外部API・通信障害、人間承認、停止・ロールバック、手動運用切替を検証したうえで本番移行を判断します。
Who This Is For
対象読者
Refine STEPで要件を定義した、食品支援責任者、情報システム担当（兼務含む）、食品衛生責任者、拠点責任者を対象にしています。
What You'll Decide
このSTEPで決めること
Build & Validate STEPでは、限定範囲のPilotを構築し、正常系・異常系のテストを実施したうえで、本番移行の可否を判断します。
Pilot Scope
Pilotの単位
複数拠点・複数食品カテゴリを同時に検証すると、権限設計や結果評価が複雑になります。最初のPilotは次の単位に限定することをおすすめします。
1拠点
本部または特定の配布拠点1つに限定します。
1食品カテゴリ
常温保存の加工食品など、リスクを評価しやすい1カテゴリに限定します。
1寄贈元
継続的に寄贈のある1つの食品提供企業・寄贈者に限定します。
1配布業務
定期配布など、手順が定型化された1つの配布業務に限定します。
Industry Challenges
Pilotで直面しやすい課題
テスト観点が網羅されない
正常系のみを確認し、誤認識や誤送信などの異常系テストが不足しがちです。
本番移行の判断基準が事前に決まっていない
Pilot終了後に何を満たせば本番移行してよいかが曖昧なまま進めてしまうことがあります。
手動運用への切り戻し手順がない
Pilot中に問題が発生した際、手動運用へ切り替える手順が用意されていないことがあります。
食品衛生責任者の関与タイミングが遅い
テスト設計の段階から食品衛生責任者が関与せず、後から手戻りが発生することがあります。
Method
実施手順
1. Pilot範囲を確定する
1拠点・1食品カテゴリ・1寄贈元・1配布業務の範囲を確定します。
2. Agent・Skill・Tool Policyを構築する
Refine STEPで定義した設計をもとに、実際にAgent・Skill・Tool Policyを構築します。
3. テストデータを準備する
本番の個人情報・健康情報を含まない、テスト用の寄贈食品リスト・ニーズデータを準備します。
4. 正常系テストを実施する
寄贈食品リストの整理、ニーズ照合候補の提示、配布予定下書きの作成が正しく行われるかを確認します。
5. 異常系テストを実施する
下記の異常系テスト項目にもとづき、誤認識・誤送信・情報混入・障害時の挙動を確認します。
6. 人間承認・停止・ロールバックを検証する
人間承認が正しく機能するか、問題発生時に停止・ロールバックできるかを確認します。
7. 手動運用への切替を検証する
Agentを停止した場合に、手動運用へ切り替えられる手順が機能するかを確認します。
8. 本番移行を判断する
テスト結果とGo/No-Go基準を照らし合わせ、食品衛生責任者・責任者が本番移行の可否を判断します。
Test Scenarios
異常系テスト項目
以下は、食品支援業務のPilotで検証すべき異常系テスト項目の例です。自団体の業務・システムに応じて追加・調整してください。
| テスト項目 | 想定シナリオ | 確認内容 |
|---|---|---|
| 商品名誤認識 | 寄贈食品リストの商品名を誤って読み取る | 誤認識の検知と人間による修正が機能するか |
| 期限誤認識 | 賞味期限・消費期限を誤って読み取る、または誤変換する | 期限データの人間確認なしに配布候補へ反映されないか |
| 保存条件誤認識 | 温度帯・保存条件を誤って読み取る | 保存条件不明・矛盾時に処理を停止できるか |
| アレルギー情報欠落 | アレルギー・原材料情報が入力データに欠落している | 欠落を検知し、配布候補から除外または要確認扱いにできるか |
| 誤分類・誤要約・誤翻訳 | 食品カテゴリの誤分類、報告書要約の誤り、多言語案内の誤訳 | 人間確認前に配布・送信されない設計になっているか |
| 誤送信 | 誤った宛先・誤った内容が外部へ送信される | 送信前承認、送信ログ、誤送信時の取消手順が機能するか |
| 重複配布 | 同一の配布予定が重複して生成・実行される | べき等性チェックによって重複が防止されるか |
| 個人・健康情報混入 | 出力に不要な個人情報・健康情報が混入する | 出力前のフィルタリングと人間確認で除去できるか |
| Prompt Injection | 入力データに紛れた指示によりAgentが意図しない動作をする | 不審な指示を無視し、確定処理に至らない設計になっているか |
| 外部API・通信障害 | 接続先システムやチャネルが応答しない | エラー時に安全側で停止し、担当者へ通知されるか |
| 人間承認 | 承認前に確定処理が実行されそうになる | 承認なしに配布・送信・廃棄が確定しない設計になっているか |
| 停止・ロールバック | 誤った出力・処理が発生した後の対応 | 実行の停止と、直前状態への復旧手順が機能するか |
| 手動運用切替 | Agentを一時的に利用できない状況 | 手動運用へ切り替える手順が整備され、業務が継続できるか |
Data & Systems
使用するデータ・システム
Human-in-the-loop
人間承認が必要な箇所
- 配布予定・報告書案の内容確認と承認
- 期限接近食品・アレルギー関連候補の食品衛生責任者による確認
- 外部送信前の内容確認
- 異常検知時の停止・ロールバック実施の判断
Measurement
KPI
異常系テスト合格率
定義した異常系テスト項目のうち、合格基準を満たした割合
人間確認率
出力に対して人間確認が実施された割合
誤送信・重複配布の発生件数
Pilot期間中に発生した誤送信・重複配布の件数
Pitfalls
失敗例・注意点
異常系テストを省略する
正常系のみ確認して本番移行すると、期限・アレルギー情報の誤りに気づかないまま運用が始まるリスクがあります。
本番データでテストする
支援対象者の個人情報・健康情報を含む本番データをテストにそのまま使うと、不要な情報漏えいリスクが生じます。
Go/No-Go基準を事後に決める
基準を事前に定義しないと、本番移行の判断が場当たり的になります。
Go / No-Go Criteria
本番移行の判断基準
- 定義した異常系テスト項目すべてで、想定どおりの安全側の挙動が確認できている
- 人間承認・エスカレーション経路が実際に機能することを確認できている
- 停止・ロールバック手順、手動運用への切替手順を実際に試して機能することを確認できている
- 食品衛生責任者・責任者が結果を確認し、本番移行に合意している
- 本番運用の監視・ログ体制がDeploy & Operateの要件を満たす見込みが立っている
FAQ
よくあるご質問
Pilotの期間はどのくらいが目安ですか
業務量や拠点の状況によりますが、数週間から数か月程度、繁忙期・通常期の両方を含む期間で検証することをおすすめします。
本番の個人情報・健康情報を使ってテストしてよいですか
推奨しません。匿名化・仮名化したテストデータを使用し、本番データの利用が避けられない場合は最小限の範囲かつ関係者の同意・承認を得たうえで実施してください。
Prompt Injectionとは何ですか
寄贈食品リストや外部からの入力データに紛れ込んだ指示によって、AgentがTool Policyで許可されていない動作を行おうとする攻撃・誤動作です。Pilotでは不審な入力に対しても確定処理に至らないことを検証します。
Go/No-Goの判断は誰が行いますか
食品支援責任者、食品衛生責任者、情報システム担当が共同で行うことをおすすめします。食品安全に関わる基準は食品衛生責任者の確認を必須としてください。
Pilot・検証設計を、一緒に整理しませんか。
1拠点・1食品カテゴリからのPilot構築とテスト設計を正式LPでご相談いただけます。