购买支持人工智能的安全软件之前需要询问的11个问题

如今的信息安全形势十分复杂，而很多企业在将人工智能/机器学习添加到安全软件组合的过程中可能会遇到一些麻烦。或者企业在选择合适的供应商时希望得到更好的服务。

大多数首席信息安全官相信采用人工智能和机器学习技术，在未来3到5年内可能改变信息安全领域。事实上，安全软件供应商都希望采用或正在采用人工智能，就好像其具有神奇的属性一样。但糟糕的是，许多供应商并没有自己的人工智能的产品。

调研机构Gartner公司副总裁兼杰出分析师Anton Chuvakin博士表示，一些安全软件供应商过度承诺，并且未能实现其人工智能/机器学习实施的好处。

Morphisec公司安全策略副总裁Tom Bain表示，网络安全厂商的首席信息安全官和首席信息官十分关注人工智能这一术语。他说，“我所知道的一家供应商在其网站主页上22次提到了人工智能。”

应用人工智能和前沿技术的领导人JT Kostman博士表示，“大多数声称拥有我评估过的人工智能/机器学习能力的公司最终不得不承认，他们的说法只不过是营销和炒作而已。”

一些供应商夸大或编造人工智能故事的意愿只是问题的一部分。为针对Webroot进行的一项新研究中，近60%的IT受访者承认，虽然他们知道他们的某些软件使用了人工智能或机器学习，但他们不确定这意味着什么。此外，只有36%的人确切知道他们的网络安全供应商如何获取和更新他们的威胁数据。该调查于2018年11月底到12月初进行，调查了400名公司董事和IT专业人员，其中200名在美国，另外200名在日本。

许多专家和人工智能经验丰富的首席安全官强烈要求信息安全领导人加入，这样在采用人工智能技术时，可以适应更复杂的技术。例如，许多人严重低估了正确培训机器学习模型所需的数据量。构建数据可能需要一段时间。德尔福集团董事长兼创始人Thomas Koulopoulos说，“许多人犯的错误是人工智能与算法的复杂性有关。事实并非如此。关键是人工智能/机器学习需要大量的数据进行训练。”

Domo公司高级副总裁信任与安全和首席信息官Noml Browne建议，企业需要为此做好准备，而不必立即投资购买。Browne说，明智的首席安全官正处于人工智能/机器学习的学习阶段，他们现在正在尽可能多地研究人工智能技术。他们正在与供应商沟通，以了解产品的功能和局限性。当人工智能展现出更多承诺时，他们将准备好制定出一个基于风险的明智决策。”

为了帮助人们完成此过程，对行业专家进行采访和调查，并列出了与安全供应商探讨时提出的10个问题的列表。他们帮助人们区分良莠不齐的安全软件产品（也就是说，潜在的有用性与宣传和炒作无关）。值得一提的是：杰出的技术专家John Omernik接受了此次调查，这是与供应商讨论人工智能/机器学习主题清单的关键人物之一。此列表基于这些专家的想法和见解，而Omernik是最重要的贡献者。

以下是有关基于人工智能/机器学习的安全软件的11个问题：

1.如何知道训练数据具有代表性？

Booz Allen Hamilton高级首席数据科学家Aaron Sant-Miller建议，组织希望知道采用什么数据来训练供应商的模型，以便可以确定该数据是否代表其数据以及将在网络中看到的行为。

2.训练数据的新鲜度、清洁度和可学习性如何？

Koulopoulos说，“组织希望知道训练数据集刷新的频率，随着时间的推移学习和发展其检测能力，以及需要多少数据来充分训练人工智能/机器学习引擎等问题。此外，组织希望了解人工智能系统的学习程度，以及需要多少数据来学习和重新学习。”

3.能获得性能指标吗？

这是调查人员最常提出的问题。Kostman说，“供应商应该能够分享双盲对照实验的结果，这些实验检测到世界级的黑客或PEN测试人员试图破坏系统。”

SignalFX公司首席信息安全官Marzena Fuller解释说，“确定供应商是否使用机器学习而不仅仅是算法，可以通过测量供应商机器学习模型性能的指标来完成，这些指标还应该描述模型的准确性。”

对于有监督的模型，Fuller建议采用“混淆矩阵”。她补充说，接近1的值表示高精度。

她说，“评估无监督模型的性能更具挑战性。簇内距离的值相对较小，簇间距离的值相对较大，表明该模型对具有离散特性的类项进行分组是有效的。”

4.能得到一个真实的演示吗？

如果供应商没有硬性指标，那么考虑放弃这样的厂商。但是如果还想给他们另一个机会，Chuvakin建议组织可以提出这样的要求：“可以让厂商提供一个可以证明人工智能解决方案能够比安全运营中心（SOC）分析师做出更好决策的案例。”

5.专有模型是否意味着组织不能对其进行自定义？

当供应商声称专有的人工智能/机器学习实现将“解决所有问题”时，Omernik建议组织的首席信息安全官和首席安全官询问“客户是否可以定制它？如果是这样，工程师需要什么级别的培训来进行这些定制？不同的模型可以在相同的数据上工作吗？或者组织的数据只能采用与安全产品捆绑在一起的模型进行工作吗？”这样的问题。

6.供应商的人工智能/机器学习实施有多灵活？

Omernik建议询问这些问题以确定实施的灵活性：供应商的人工智能/机器学习实现是否可以处理不同类型的数据，例如日志、音频、视频、事务等？如果是这样，数据集可以一起工作，还是必须分开？

7.人工智能/机器学习解决方案的更新情况如何？

组织希望知道是否需要逐步支付或购买新版本的安全应用程序以获取更新。还要询问供应商如何向客户分发此类改进，以及集成它们的难度。

8.供应商的解决方案是否会成为组织安全团队的“黑盒”？

供应商的解决方案就像是一个“黑盒”，其结果并不是直截了当的。但是组织需要知道它是否支持应用最新的人工智能/机器学习工具包以及其团队如何使用它。“该工具是否可以帮助从业者了解数据的工作原理，并帮助他们扩展对数据工程和数据科学的理解？还是一种迫使客户依赖供应商进行更改的黑盒解决方案？供应商应该解答这些问题。”Omernik说。

Chuvakin说，“对于许多客户来说，黑盒比开放式工具包要好得多。”

9.人工智能将如何整合到组织的产品中？

Koulopoulos说，“它是从内部获得的或构建的，还是从一开始就是使用的软件的一部分？这是对于人工智能持怀疑态度的组织的警告，如果组织只是使用谷歌的TensorFlow技术，那么并不合格。”

10.组织的系统如何检测新的攻击类型？

Kostman说，“组织如何应对所谓的冷启动问题？机器学习算法需要数据，就像鱼需要水一样。那么，供应商基于人工智能的系统如何识别不同于以前遇到过的任何威胁呢？”

11.谁拥有这些数据？

Browne说，“组织需要十分关注自己的数据。人工智能供应商目前的主要目标不是出售，而是要获得尽可能多的数据来测试和改进他们的模型和算法。组织了解自己的数据和系统的访问级别，以及谁拥有最终的人工智能元数据非常重要。”

Koulopoulos也同意这一观点，并提出了类似的观点，“最大的争议之一涉及培训数据的所有权，这些数据会随着时间的推移而累积。”

对首席信息安全官的建议

“衡量基于人工智能的解决方案的有效性是组织所做的最重要的事情之一。但要做到这一点，需要这方面的专业知识。”Fuller 说，”每个公司都应该有数据科学家在工作，如果首席信息安全官计划广泛采用机器学习解决方案，则应考虑同时聘用数据科学家和数据工程师。”

Omernik建议，“当组织评价员工时，如果其技术人员具备帮助组织评估基于人工智能的安全产品的知识和培训，请相信他们。在一些组织中，高管们需要找到一种方法来信任他们的技术人员，他们会与试图销售产品的供应商进行沟通.”

他补充说，“组织需要找到或雇佣一个有经验的人员对于供应商在产品的宣传进行判断与分析。人工智能/机器学习的人才需求可能会造成经验丰富的技术人员严重短缺。因此组织需要考虑如何吸引人才，如何为技术人员提供支持等问题。”

Koulopoulos说，“很多组织可能没有意识到这一点，将会面临技术落后的风险。在接下来的3到5年内，如果组织在人工智能和机器学习用于防御和打击网络犯罪方面的知识和经验不足，那么将面临业务损失的风险。”