实现自动化安全还需装好护栏

你会放手让未成年的孩子开车吗？显然这是非常鲁莽又危险的行为，但是如果是在游乐场里或封闭的专用赛道上，这么做的安全性就另当别论了，因为有安全围栏等措施对驾驶者进行保护。

安全研究人员一直努力地让人工智能、机器学习和自动化彻底改变传统的安全实践，实现“自主安全”状态。但就目前人工智能（AI）技术的应用成熟度来看，要完全代替安全专业人员来进行决策和采取行动，就好比让小孩子自己开车出去兜风，如果没有采取适当的保护措施，随时都可能会发生严重的安全事故或后果不堪设想的风险事件。在此背景下，我们应该给主动安全技术平稳应用构建哪些顺应人工智能发展的护栏呢？不妨考虑以下三个问题：

• 人工智能/机器学习、决策和自动化彼此有怎样的联系？
• 现在的人工智能、机器学习和自动化决策能力成熟度如何？
• 当智能技术发展到何种状态才能应用于安全领域？

为了回答这每一个问题，我们不妨审视以下三个模型框架：OODA循环、DARPA的人工智能三波浪潮（Three Waves of AI）和古典教育（Classical Education）。

OODA循环

OODA循环代表Observe（观察）、Orient（定位）、Decide（决定）和Act（行动），也可以被进一步理解为：感知、理解、决策和行动。

在这个框架内，人工智能/机器学习（理解）有别于自动化（行动），并通过决策功能连接起来。自主意味着不自觉或无意识。在这个框架的背景下，自主可能意味着跳过理解和决策环节（比如不自觉的刺激反应反射），或者只跳过决策环节（比如无意识的呼吸）。

DARPA的人工智能三段论

DARPA 的框架定义了人工智能技术的发展。第一阶段采用专家的知识，并将其纳入到软件中，以提供确定性的结果。第二阶段涉及统计学习系统，支持模式识别和自动驾驶汽车。这一波产生的结果整体上很出色，但也可能在个别情况下不可靠。在DARPA的第三阶段中，人工智能能够提供解释性模型，从而使我们能够理解任何理解上的错误是如何发生的、为什么会发生，这种理解有助于增强我们对其理解能力的信任。

根据DARPA的理论，研究人员普遍认为现在的人工智能技术还无法很好实现第三阶段的应用。当前的机器学习能力可以为我们提供通常正确的答案，但还不够成熟，无法告诉我们它们如何得出错误答案、为什么得出。

古典教育

第三个框架是古典教育三学科，这描述了儿童发展的三个学习阶段。在小学阶段，孩子们专注于记忆事实、学习结构和规则。在中学阶段，他们专注于联系相关主题，并解释如何以及为什么。最后在高等教育阶段，学生能够融合多学科的知识体系，形成逻辑推理，并开始说服他人。

当前这一代人工智能技术还缺乏足够的问题及原因解释能力，因此可以认为其还没有跨过古典教育模型中的小学阶段，其综合能力成熟度可能只相当于不到10岁的儿童。

自主安全需要跳过了人工决策环节。但是如果我们让当前这一代人工智能为我们做决策，必须认识到我们面对的是决策能力相当于未成熟儿童的智能化系统。

毫无疑问，我们继续会向自动化自主安全迈进。但如果有一些护栏，我们可以尽量减少这一演进过程中出现的负面后果。以下是需要考虑的几个方面：

• 传感器多样性：基于多个数据来源，确保传感器来源可信且可靠。
• 边界条件：确保决策具有高度确定性，且范围狭窄。
• 既定阈值：出现异常情况时，要评估最大可能承受的负面影响是什么；
• 算法完整性：确保整个过程和所有假设都得到详细记录，并被操作人员理解；
• 刹车和倒档：如果超出范围，准备好随时摁终止开关，并立即使行动可逆。
• 权力和责任：预先确定采取行动的权力和对结果负责的责任。

在采取安全措施的情况下让孩子开车是不负责任的，同样，在让不成熟的自动化安全系统获得主导权之前，应确保我们为其安全应用加装了妥善的护栏。