どのAI SOCベンダーも、トリアージの高速化、誤検知の削減、24時間稼働するエージェントをうたっているため、主張だけでは違いがわかりません。違いを生むのは、プラットフォームがどのように判定に至るかです。それによって、デモの後に自社のデータで結果が通用するかどうかが決まるからです。このガイドでは、「アダプティブ」が実際に何を意味すべきか、すべてのベンダーに投げかけるべき5つの質問、そして説明できる数値を生み出す概念実証(POC)の進め方を解説します。機能のチェックリストについてはAI SOCの主要機能を参照してください。このページでは評価そのものを扱います。
「アダプティブ」が実際に意味すべきこと
アダプティブなプラットフォームは、時間とともに自社の環境に習熟していきます。各アイデンティティ、アプリケーション、クラウドリソースにとって何が正常かを学習し、誰かがプレイブックを書き直さなくても、アナリストのフィードバックから調整を行います。この主張は2つの質問で確かめられます。その学習内容はどこに保存されているのか、そしてアナリストはそれを確認できるのか、です。
アーキテクチャが重要なのは、よくある近道があるためです。それは、単一の大規模言語モデルを薄くラップし、生のログに向けるだけの設計です。この設計では、長い調査を通じた記憶が限られ、実行のたびに推論が変わり、調査のたびにデータを読み直すため、データが増えるほどコストが高くなります。取り込み時に構造化されたコンテキストに照らしてイベントを解決し、モデルがログの行ではなくアイデンティティ、リソース、関係性に基づいて推論するようにすれば、より安定し、より低コストな基盤になります。
すべてのベンダーに尋ねるべき5つの質問
- アナリストは各判定の背後にある証拠と推論を確認できるか。また、同じアラートから毎回同じ判定が得られるか。どちらかの答えが「いいえ」であれば、そのプラットフォームは監査できず、削減できたはずの時間は再確認に費やされます。透明な推論では、これを検証する方法を解説しています。
- 初日からどの攻撃対象領域をカバーしているか。アイデンティティ、クラウドインフラ、SaaS、エンドポイント、メール、内部関係者の行動です。どれがネイティブな検知で、どれが他のツールから読み込んだアラートかを尋ねます。
- プラットフォームは調査と対応アクションを完了させるのか、それとも手順を提案するだけか。ガードレールを備えたうえで完了させられるかどうかが、エージェントとアシスタントの違いです。
- 人はどこで関与し続けるのか。また、アナリストのフィードバックはどのように検知を調整するのか。それを説明したスライドではなく、フィードバックが将来の判定を変える様子を実際に見せてもらいます。
- 自社で運用する、マネージドサービスを利用する、あるいは両者を切り替えることができるか。人員体制は変わりますが、プラットフォームまで変える必要があってはいけません。
概念実証の進め方
- 自社のデータを使います。対象は、アナリストの時間を最も多く使っているアラート種別です。たとえばGoogle Workspaceでの不審なアイデンティティの行動、AWSでの通常と異なるアクセス、報告されたフィッシングのキューなどです。
- 平均調査時間を導入前と導入後で測定します。同じアラート種別で比較します。ベンダーのベンチマークは出発点にすぎず、経営層に説明するのは自社の数値です。
- 判定の一致率を採点します。アナリストがクローズ済みアラートのサンプルを確認し、プラットフォームの結論が自分たちの結論と一致した箇所と、その証拠によって考えが変わった箇所を記録します。
- 人の手に渡る件数を数えます。また、それぞれの案件にどれだけ時間がかかるかも記録します。
- 自社の規模で価格を見積もります。ログ量とアラート件数に応じて価格がどう変わるか、また、めったに検索しないデータが高額な料金のままにならないようストレージを階層化できるかを尋ねます。
概念実証を始める前に基準を書き出し、すべてのベンダーを同じアラートで採点します。デモで求めるべきことではこの前段階を解説しており、結果はROIモデルに反映します。
Exaforceはこれらの基準にどう取り組んでいるか
Exaforceは、これらの質問を中心にエージェンティックSOCプラットフォームを構築しました。そのデータプラットフォームは130+のソースからログ、アイデンティティデータ、設定、コードを取り込み、取り込み時に解決します。検知、トリアージ、調査、対応、脅威ハンティングのためのタスク特化型AIエージェントであるExabotsは、3つのモデルに基づいて推論します。エンティティと関係性を表すSemantic Model、何が正常かを表すBehavioral Model、そして推論を行いすべてのステップを記録するKnowledge Modelです。すべての判定はその証拠を示し、同じアラートからは同じ判定が得られ、アナリストのフィードバックが検知を調整します。ExaUを使えば、チームは自社固有の業務に合わせて独自のExabotsを構築できます。顧客からは、誤検知が90%減少し、平均調査時間が95%短縮されたと報告されています。チームは自社で運用するか、同じプラットフォーム上でExaforce MDRに運用を任せることができます。このプラットフォームも含め、すべてのプラットフォームにシニアアナリストと同じ水準を求めてください。つまり、クローズするすべてのアラートについて、その作業の過程を示せることです。
よくある質問
AI SOCプラットフォームの評価基準は何ですか?
判定が説明可能で再現性があるか、どの攻撃対象領域をネイティブにカバーしているか、プラットフォームが作業を完了させるのか提案するだけか、人がどのように関与し続け、フィードバックがどう検知を調整するか、そして自社で運用する、運用を任せる、あるいは切り替えることができるかです。
AI SOCベンダーを公平に評価するにはどうすればよいですか?
まず基準を書き出し、すべてのベンダーを同じ実際のアラートで実行し、平均調査時間と判定の一致率を測定し、人の手に渡る件数を数えます。
「アダプティブなAI SOC」とはどういう意味ですか?
自社の環境で何が正常かを学習し、プレイブックを書き直さなくてもアナリストのフィードバックから調整を行うプラットフォームです。その学習内容がどこにあり、確認できるかを尋ねてください。
AI SOCの概念実証にはどれくらいの期間をかけるべきですか?
最も件数の多いアラート種別で代表的なアラート量をカバーできる期間で、通常は数週間です。基準は開始前に合意しておきます。
価格は評価に含めるべきですか?
はい。ログ量とアラート件数に応じて価格がどう変わるか、ストレージが階層化されているかを尋ねてください。安価なプラットフォームでも、ほとんどのアラートを人にエスカレーションするなら、全体としてはより高くつきます。