AIは「答える」から「行動する」へ 北米最大級のAIカンファレンスAi4で見えた新たなリスク

北米最大級のAIカンファレンス「Ai4」とは？

MS＆ADインターリスク総研でシリコンバレーに駐在する野中聡です。

今回ラスベガスを訪れて参加してきたのは、北米最大級のAIカンファレンス「Ai4」です。このAi4は、2018年にニューヨーク・ブルックリンで約300人の規模からスタート。今回は2026年8月4日から6日までの3日間にわたって開かれ、参加者は12,000人超、出展企業は400社を超えるまでの規模に拡大しました。

会場は主に、次の3つのエリアで構成されていました。

• AI領域をけん引する著名人による講演が行われる「セッションエリア」
• 企業がAIプロダクトを紹介する「展示ホール」
• 参加者同士が交流する「交流エリア」

このうち、セッションエリアでは、AI活用の最新トレンドからAIに起因するリスク・事故、ガバナンス、リスク管理まで幅広いテーマについて講演が行われていました。

ここからは、エージェントAIがもたらす変化と新たなリスクについて、特に印象に残った2つの講演を紹介します。

「アプリを使う」時代が終わる？

はじめに紹介するのは、SamsungグループのHARMAN InternationalでCTO（最高技術責任者）を務めるArmin Prommersberger氏による講演です。

講演のタイトルは「The Death of the App: Zero-App Interfaces & the Rise of AI-Orchestrated Mobility Experiences（アプリ中心社会の終焉――AIオーケストレーションがもたらす新たなモビリティ体験）」。

この中でPrommersberger氏が示したのは、現在当たり前になっている「人間がアプリを選び、操作する」というデジタル体験そのものが変わるという世界観です。

私たちは今、移動するときには地図アプリ、音楽を聴くときは音楽アプリ、買い物をするときにはショッピングアプリといった形で、目的に応じてスマートフォンにダウンロードしたアプリを使い分けています。

しかし、Prommersberger氏によれば、AIが質問に答えるだけでなく、自ら判断して行動する「エージェントAI」へ進化することで、将来的には人間が個々のアプリを操作するのではなく、AIが利用者の意図を理解し、必要なアプリやサービスを横断して操作できるようになるといいます。

さらに将来的には、スマートフォン、イヤホン、スピーカー、テレビ、自動車などの多数のデバイスをAIが統合的に制御する「AIオーケストレーション」の時代が到来すると予測しました。

一方で、AIがアクセスするシステムやデバイスが増えることで、サイバー攻撃の対象領域も広がるため、高いセキュリティと信頼性が重要な設計要件になると指摘しました。

Prommersberger氏の話を聞き、CopilotやChatGPTなどの生成AIが外部システムとの連携機能を拡大している流れを踏まえると、決して突飛な世界観ではないと感じました。一方で、情報漏えい、不適切な自動実行、誤動作時の責任分界点など、これまでとは異なるリスクへの対応も必要になるでしょう。

自律的に行動するエージェントAIをどう管理するのか

AIがさまざまなサービスやデバイスを横断し、自律的に行動するようになれば、その「行動」まで含めたリスク管理が必要になります。こうしたエージェントAIを企業はどのように管理すればよいのでしょうか。

この点について議論していたのが、次に紹介する講演です。

「Agentic Model Risk Management: Industrializing Risk Ranking, Validation, and Monitoring（エージェントAIのリスク管理について――リスク評価・検証・モニタリング）」と題されたセッションでは、AIガバナンスの専門家や研究者、AIの評価・検証などのサービスを提供する企業の責任者らが登壇しました。

議論の中で特に興味深かったのが、AI同士が相互に連携するような世界を想定した場合、責任分界点や法的責任をどのように考えればよいのかという問題でした。

AIの判断過程を追跡すること自体に難しさがありますが、複数のAIがシステムや企業の垣根を越えて連携するようになると、状況はさらに複雑になります。

例えば、あるAIの誤った判断を起点として、別のAIが誤った処理を実行し、さらに別のAIがその結果をもとに次の判断をした場合、「どのAIに問題があったのか」「誰が責任を負うのか」を特定することが難しくなる可能性があります。

こうした問題に対して講演の中では、エージェントAIについて、あらかじめ次のような点を管理する必要性が示されました。

• どのデータへのアクセスを認めるのか
• どのようなアクションの実行を認めるのか
• どのようなログを残すのか
• どの行動を禁止するのか
• 問題が起きたときにどのように停止させるのか

特に、不適切な行動を検知した際にAIを自動停止させる「緊急停止機能」について、システム設計だけでなく契約面でも整備する必要性が指摘されていました。

また、将来的にはAI開発とガバナンスの双方を理解する「AI Governor（AIガバナンス専門人材）」の需要が高まるとの見解も示されました。

まとめ：AIのリスク管理は「モデル」から「行動」へ広がる

今回Ai4に参加して感じたのは、AIをめぐる議論が次の段階に入り始めているということです。

これまで生成AIについては、「どれだけ高精度な回答を出せるか」「業務をどれだけ効率化できるか」といった議論が中心でした。

しかしエージェントAIが普及すれば、AIは単に情報を生成するだけでなく、さまざまなシステムやデバイスにアクセスし、自ら判断して実際の行動を取るようになります。

さらに、その先には複数のAIが互いに連携しながら一連の業務を進める「AIオーケストレーション」の世界があります。

そうなれば企業に求められるAIリスク管理も、モデルの性能を評価するだけでは十分ではありません。

「どのデータにアクセスできるのか」「何を実行できるのか」「どこまでAIに任せるのか」「問題が起きたときに誰が責任を負うのか」まで含めて設計する必要があります。

AIが「答える」存在から「行動する」存在へと進化するのに合わせて、企業のAIリスク管理も、モデルそのものの管理に加えて「AIが実際に何をするのか」までを管理する段階へと広がっていくのではないでしょうか。

• 過去のシリコンバレーコラムはこちら