メガトレンド · サイバーセキュリティ&デジタルトラスト

AIが本当に「代わりに働ける」ようになると、たった一通のメールで裏切らせることもできる

これまでは「AIが答えを間違えたら」と心配していました。でも今のAIは、私たちの代わりに“手を動かす”ようになってきています——メールを読み、お金を払い、ファイルを開き、データを送る。そして手を動かせるようになると、その手を「だまして」やってはいけないことをさせる、というのがAIそのものと一緒に生まれた新しい攻撃口になります。これは二つの戦場の話です:AIがだまされないように守ること、そしてAIを使う悪意ある側にAIで対抗すること。

分野 Cybersecurity & Digital Trust レベル サブテーマ 成熟度 黎明期 読む時間 約13分
見張りのいる扉の奥にAIアシスタントがいる。隠れた指示が仕込まれた怪しいメールが滑り込んでくるが、実行に移す前に番人がチェックしている
ภาพประกอบ (hero.png)
見張りが必要なアシスタント。 AIが私たちの代わりに手を動かせるようになるほど、その周りに「垣根」を張ることが大事になります。

01これは何?(コインの裏表)

とても優秀な個人アシスタントを雇ったと想像してみてください。メールを読んでくれ、チケットを予約してくれ、請求書を払い、あなたの代わりに社内システムにログインできる。この能力は計り知れないほど便利です——でも裏を返せば、誰かが「偽のメモ」を送ってこのアシスタントに『ご主人がこの口座に送金しろと言っている』と信じ込ませ、それを真に受けたら、被害はその瞬間に起きてしまう。これがこのnodeの核心です。

AI Security & Agent Guardrails は、大規模言語モデル(LLM)とAI agentの時代と一緒に“生まれたばかり”のセキュリティ分野です。理解すべき二つの側面に分かれます。

  • 側面1 — AI自体を守る(securing AI): AIそのものが、従来のシステムにはなかった弱点を持つ新しい標的になります。たとえば「文章でだます」攻撃(prompt injection)、ルールの解除(jailbreak)、学習データへの毒入れ(data poisoning)。そしていちばん危ないのは、AIが本当に手を動かせるagentになったとき——乗っ取られたagentは、答えを間違えるだけでなく、間違ったことを実行してしまえるのです
  • 側面2 — AI対AI(attack vs defense): 悪意ある側はAIを使って、より巧妙な詐欺メールを書き、声や映像を偽造し(deepfake)、弱点をより速く見つけ出す。いっぽう守る側もAIを使って、監視センター(SOC)の作業を加速させ、ゲームに食らいついていく
知っておきたい用語
LLM · Agent · Prompt

LLM(Large Language Model)= 言語を理解し生成できるAIモデル。ChatGPTの裏側にあるようなもの · Agent = LLMに“手を動かす”力をつなげたもの——ツールを呼び、ウェブを検索し、コードを実行し、データベースにアクセスし、お金を払う · Prompt = モデルに入力する指示文。問題は、AIが「どれがご主人からの指示で」「どれが部外者からの文章か」をうまく見分けられないこと——そこが弱点の根っこなんです。

メガトレンドの地図では、このnodeはCybersecurity & Digital Trustの下にあり、定義はそのものずばり「AI自体のセキュリティを守ること——prompt injectionを防ぎ、モデルへの攻撃テスト(red-teaming)を行い、agentの権限を絞り垣根を張る」と言い切っています。サイバーセキュリティ一族のなかでいちばん若い分野で、いまも巨大企業よりスタートアップのほうが多い世界です。

02なぜ大事? — AIと同時に生まれた攻撃口

ふつうのサイバーセキュリティは「コード」を守ることでした——書いたとおりに正確に動くコードです。でもAIはコードではありません。「言語を解釈して」自分で判断する仕組みです。そこに、従来のファイアウォールが一度も出会ったことのない新種の弱点が口を開けます。そしてOWASPのような業界標準も、こうした弱点をすでに正式にランク付けしました。

LLMアプリ向けOWASP Top 10の2025年版では、2年連続で第一位の脅威がprompt injection——AIが読みにいくメール・文書・ウェブのなかに「秘密の指示」をこっそり仕込み、持ち主ではなく部外者の言うことを聞かせる手口です。さらに2025年末、OWASPはわざわざagentic AI専用のTop 10を出すまでになりました。モデルが自分で仕事をこなせるようになると、たった一つの弱点が及ぼす「被害の半径」が一気に広がるからです。

1位 · 2年連続 Prompt injectionは、OWASP LLM Top 10の2024年版・2025年版とも1位に居座りました——OWASPは、RAGもfine-tuningもこの問題を完全には解けないと明言しており、多層防御(defense-in-depth)が要るとしています。

これは机上の話ではありません。2025年6月、研究者がMicrosoft 365 CopilotにEchoLeak(CVE-2025-32711)という弱点を公表しました——実運用中のAIシステムで初めてのzero-click型prompt injectionで、深刻度スコアCVSSは9.3に達しました。よく作り込まれたメールを一通送り込むだけで(被害者は何もクリックしなくていい)、Copilotがだまされて社内ファイルを引っ張り出し、攻撃者のサーバーへデータを送ってしまった。Microsoftはすでに穴をふさぎましたが、この種の脅威が本当に「手で触れる」現実だと証明したのです。

二体のロボットが左右で向かい合う。一方は詐欺メールと偽の仮面を撃ち出し、もう一方は盾を構えてそれを受け止める。攻撃側のAIと防御側のAIの一騎打ち
ภาพประกอบ (duel.png)
AI対AI。 悪意ある側はAIで、より巧妙な詐欺メールや偽物を作る。守る側もAIで、それをゲームに間に合うように捕まえる。

コインのもう一方の面も同じくらい速く育っています——悪意ある側がAIを武器にしているのです。2025年には、AIを使ったサイバー攻撃が2,800万件を突破し、前年比でおよそ72%増えたと見られています。AIが作ったフィッシングメールは約54%もの人がうっかりクリックしてしまい、従来型フィッシングの約12%と比べると段違い。deepfake被害も前年比で跳ね上がっています。

AIが作ったフィッシングは、以前よりずっと「巧妙」
うっかりクリック率(%)— AIは詐欺メールをより自然で、より的を射たものにする
出典: 2025年AI脅威統計レポート(複数機関の集計)— クリック率はテストの平均値

ざっくり言えば:私たちは、世界じゅうの組織でAIが人の代わりに働く扉を開いたばかりで、いっぽう悪意ある側も、攻撃を加速させるAIという道具を手にしたばかりです。このnodeは、AIの波全体を「安心して実際に使える」ものにするために生まれるべき“鎧の裏地”なんです。

03どう動く? — 制御されたagent

guardrailの核心は、とてもシンプルな発想です:inputを信じるな、そしてactionを勝手に起こさせるな。AI agentに指示を受けてそのまま実行させるのではなく、入口と出口の両方に「検問所」を挟む——優秀なアシスタントほど、大きな案件の前には上司の承認サインが要る、というのと同じです。

AI agentの垣根 inputはモデルに入る前にprompt injectionを検査され、そのあとactionは実際に手を動かす前に権限の検問所でチェックされる input メール/ウェブ/ファイル 1 AI firewall 検査する prompt injection 2 秘密の指示 → ブロック AIモデル 考える/計画する 3 権限の検問所 action guardrail 実行前に承認が要る 4 実際に手を動かす(送金/データ送信)
二段構えの垣根。 モデルに入る前にinputを検査してprompt injectionを探し(2)、agentが実際に何かを実行する前にactionを権限の検問所でチェックする(4)。

第一の検問所(input)は「AI用のファイアウォール」のように働きます——モデルに入力されるあらゆる文章を読み、秘密の指示を埋め込もうとしたり、ルールを解除しようとしたりするパターンを捕まえる。第二の検問所(action)は、agentの時代にいちばん大事です:AIが実際に効果のある「行動」に出る前に——送金、ファイル削除、社外へのメール送信——必ず権限のチェックを通さなければなりません。原則はleast privilege(必要最小限の権限しか与えない)に、human-in-the-loop(高リスクな仕事は人が承認サインをする)を組み合わせることです。

知っておきたい用語
Red-teaming · Guardrail

Red-teaming = 「レッドチーム」(人かAI)を雇って、自分のモデルをあらゆる手口で攻撃させ、悪意ある側より先に弱点を見つけること——避難訓練のようなものです · Guardrail = モデルに入るもの(危険な入力)と、出るもの(不適切な答えや行動)の両方を絶えずふるい分ける「垣根」。この二つが、この分野まるごとの主要な道具なんです。

この問題がとりわけ解きにくい理由は、AIモデルがそもそも「言語に従う」ように作られていること。だから「信頼できる指示」と「たまたま指示が埋め込まれた文章」のあいだに、はっきりした境界線がありません。垣根を張るのは一度のパッチで終わる作業ではなく、絶えず更新し続ける多層防御なのです。

04つながり — どこにつながる?

このnodeはCybersecurity & Digital Trust一族の末っ子で、それぞれ別の関所を守る兄弟がいます。ただAI Securityは、すべての関所と交わる分野です——AIがあらゆるシステムに入り込もうとしているからです。

  • Identity & Access Managementと直接つながる: agentが人の代わりに手を動かすと、大きな問いが生まれます——「このagentは誰で、何をする権限があるのか」。そこからagent identity(AIの“身元”)という考え方が生まれ、一人の従業員のように管理する必要が出てきます。CrowdStrikeが、人・マシン・そしてAI agentまでカバーする身元管理システムを出したのはこのためです
  • Security Operations (SOC)に仕事を送り込む: 「AI対AI」の側面は、AIを監視センターの助っ人にして、何百万もの警告から本物だけを選り分けること
  • Artificial Intelligenceから生まれた: とくにAgentic AI(自分で手を動かすAI)とFoundation Models(巨大な基盤モデル)——この二つのAIが広まるほど、垣根への需要も大きくなる。まさに「影が体について回る」関係です

言い換えると:IAMは「誰が入れるのか」を問い · SOCは「何か異常はないか」を問う · そしてAI Securityは、これまでなかった新しい問いを立てます——「このモデルは今だまされていないか、もし実行に移そうとしたら、間に合うように止められるか」。従来の関所に取って代わるのではなく、AIがすべてのシステムの中心に入ってきたときに欠けてしまう関所を、埋めにくるのです。

05いま、どこまで来たか + 主役たち

いまこの分野は「爆発したばかり」の局面にあります——2025年は、AI securityが組織にとって「交渉の余地がない」テーマになった年だと、多くの機関が呼んでいます。お金が本格的に流れ込みはじめ、巨大企業はこの能力を自社プラットフォームに足すために、スタートアップを次々と買い始めました。

市場規模はサイバーセキュリティ全体に比べればまだ小さいものの、伸び方が異常です。agentic AI向けセキュリティ市場は、2026年の約16.5億ドルから2032年には約135億ドルへ——CAGRで約42%と見込まれています。いっぽう、より広いGenAIサイバーセキュリティ市場は、約87億ドル(2025年)から約355億ドル(2031年)へと見積もられています。

agentic AI向けセキュリティ市場
市場規模(十億ドル)— 2032年は予測(CAGR ~42%)
出典: MarketsandMarkets — Agentic AI Security Market(2026〜2032)
「セキュリティ業務のなかのAI」へ、お金が一気に流れ込む
AI in cybersecurity市場全体の規模(十億ドル)— 2030年は予測
出典: Grand View Research / Mordor(複数機関の中央値、CAGR ~22〜24%)

ここでの「プレーヤー」の顔ぶれは、ほかの分野とは違います——本当の専門家の多くが、まだ非公開のスタートアップで、株式市場にいません。いっぽう市場にいる巨大企業は、たいていこの能力を自前で作るのではなく「買って」入ってきます:

  • Palo Alto Networksは2025年4月、Protect AI(シアトル発のAI securityスタートアップ)を、複数の情報源で約6.5〜7億ドルと見積もられる規模で買収。モデルスキャン・red-team・ランタイム防御の能力をまとめ、新プラットフォームPrisma AIRSに統合しました
  • CiscoRobust Intelligence(2024年8月)を買収し、AIモデルのテストと防御をSecurity Cloudに加えました
  • CrowdStrikePangea(AI securityスタートアップ)を買収し、AI agentまでカバーする新しい身元管理システムを発表しました

イノベーションを引っ張る純粋なスタートアップ側にも、本物の数字が出はじめました——HiddenLayerは合計で約5,600万ドルを調達(Series Aの5,000万ドルはMicrosoftのファンドM12が主導)し、2025年に売上が約3,500万ドルに届きました。LakeraProtect AIは、LLM向けのguardrailとred-teamingの先駆者として業界でよく名前が挙がります。

この分野の主役たち
注記
この分野はまだとても新しく、本当の専門家の多くは非公開企業/スタートアップです。そのためプレーヤーは、生の時価総額ではなく分野での役割で並べています(誰がプラットフォームに統合する巨人で、誰が特化型スタートアップか) · 投資助言ではありません
米国 · 統合する巨人
Protect AI(2025年4月、約6.5〜7億ドル)を買収し、プラットフォームPrisma AIRSに統合——モデルスキャン、red-team、agentのランタイム防御を揃え、企業向けAIセキュリティの王者を狙う。
secondary · 買収で先頭に立つ
CrowdStrikeCRWD · US
米国 · エンドポイント+AIの身元
Pangeaを買収し、人・マシン・AI agentまでカバーする身元管理システムを発表——guardrailの核心である「このagentは誰で、どこまで権限があるか」という難題に取り組む。
secondary · agent identity
CiscoCSCO · US
米国 · ネットワーク+モデル検証
Robust Intelligence(2024年8月)を買収し、AIモデルのテストと防御をSecurity Cloudに加えた——AI securityでGartnerのCool Vendorに選ばれたこともある。
secondary · モデルを守る
HiddenLayer非公開 · US
米国 · 特化型スタートアップ
機密データにアクセスせずに、MLモデルをadversarial攻撃から守る。約5,600万ドルを調達(Series AはMicrosoftのファンドが主導)し、2025年に売上は約3,500万ドルに到達。
core · モデル側の先駆者
Protect AI/ Lakera非公開 · US/スイス
米国/欧州 · guardrail & red-team
LLM向けguardrailとred-teamingの先駆者——Protect AIはPalo Altoに買収されPrisma AIRSへ、LakeraはLLMの脅威をリアルタイムでふるい分けるプラットフォーム。
core · guardrail特化

投資家にとって大事な注意点:いま市場に「AI securityの純粋大型株」はまだありません——だからこのテーマへの投資は、たいてい「AI securityを後づけしている」サイバーセキュリティの巨人(PANW, CRWD, CSCO)への投資であって、これ一本でやっている会社への投資ではないのです。

06これからの展開

第一の方向はagentが広まりすぎて、guardrailが“必須”になること。組織がAI agentを実務に放ちはじめると(請求書を払い、顧客に答え、自分でコードを書いてデプロイする)、どの会社も「自分のagentをどう制御するのか」という問いに答えなければなりません——AI firewallとagent identityは、今日のファイアウォールがどの組織にもあるのと同じように、標準の一層になっていくはずです。

第二の方向は大きなプラットフォームへの統合。2024〜2025年の一連の買収(Cisco→Robust Intelligence、Palo Alto→Protect AI、CrowdStrike→Pangea)は、サイバーセキュリティの巨人たちがこの層を「所有」しにいく、という明確な合図です。専門特化のスタートアップの多くは、独立して大企業に育つより、プラットフォームに買い込まれていくでしょう。

第三の方向は両陣営のAIの競争が加速すること。悪意ある側がAIで、速く・安く攻めてくるなら、守る側もSOCでAIを使ってゲームに食らいつくしかありません——AIが脅威の選別と対処を半自動でこなす「autonomous SOC」へと向かいます。2025年のデータでは、AI防御システムを使う組織は、脅威の検知が速くなり、漏えいの発覚も数か月早まっています。これこそ、業界全体に両側で「AIで武装」させる経済的な理由なんです。

07課題&リスク

はっきり言っておきます:これはまだ生まれたばかりで、固まっておらず、ブーム(hype)の匂いも混じる分野です。多くのベンダーが既存の製品に「AI security」というラベルを貼ったばかりで、本当の実力はこれから証明されるところ——投資家もユーザーも、本物と売り文句を見分けなければなりません。

技術的なリスクの一つめは、prompt injectionが「完全には解けない」問題かもしれないこと。それは、言語に従うよう設計されたモデルの本質に埋め込まれているからです。OWASP自身も、100%防ぐ唯一の方法はなく、多層防御でリスクを下げられるだけだと認めています——EchoLeakのような事件は、世界的企業の製品でさえまだミスをしうると警告しています。

二つめのリスクは、guardrailを締めすぎるとAIが役に立たなくなること。検問所を厳しくしすぎて、何でも人の承認サインが要るようにすると、agentは「人の代わりに働く」価値を失ってしまう。本当の課題は、安全と機敏さのちょうどいい釣り合いを見つけることで、まだ決まった正解はありません。

三つめのリスクは、非対称な戦いです。悪意ある側は弱点を一つ見つければいいのに、守る側はすべての穴をふさがなければならない。そして両者がAIで加速すれば、ゲームはいっそう速くなる——追いつけない守り手は、これまで以上に大きく不利になります。

投資家への結論 AI Security & Agent Guardrailsは、AIの波を本当に使えるものにするために必要な「鎧」です——市場は小さいが伸びは速い(agentic AI security CAGR ~42%)。鍵は三つ:(1) まだ純粋な大型株はなく、このテーマは「AIを後づけした」サイバーセキュリティの巨人(PANW, CRWD, CSCO)を通して触るのが主 · (2) 本物の多くはまだ非公開/スタートアップ——巨人の入り口は買収だ · (3) hypeに注意——本当に問題を解ける者を、ただラベルを貼っただけの者から見分けること。長い目で見た価値は、agentの「guardrail層」を握れるかどうかにあって、AIという言葉をいちばん多く口にする者にあるわけではありません。

短くまとめると:私たちはいま、AIがただ「話す」だけでなく、現実のシステムで私たちの代わりに「手を動かす」時代を開いています。そして新しい能力はどれも、新しい攻撃口を連れてきます。AI Security & Agent Guardrailsは、たった一つの問いに答えるために生まれた分野です——だまされたときちゃんと止められる範囲で、AIにどこまで手を動かすことを任せられるのか。まだ序章ですが、AI業界まるごとが欠かせない一章なんです。

このテーマのライブデータ・銘柄・ニュースを見る →